Smoke Segmentation in VIDEO sequences

全文:

Введение. Визуальное обнаружение дыма на открытых пространствах имеет большое значение для раннего обнаружения задымлений и возгораний, в частности на территории аэродромов. Наличие дыма является одним из существенных признаков для раннего обнаружения пожара. Быстрое обнаружение дыма имеет большое значение для раннего предупреждения о возгорании. С развитием технологий компьютерного зрения и анализа изображений важным методом раннего детектирования пожара стало обнаружение дыма на видеоизображениях. По сравнению с традиционными способами детектирования дыма, основанными на тепловых детекторах или химическом анализе продуктов сгорания, мониторинг пожара в бесконтактном режиме позволяет детектировать дым на значительном расстоянии, не зависимо от источника дыма (лесной, техногенный пожар), в различных средах, том числе на открытых пространствах. К основным признакам визуального обнаружения дыма можно отнести цвет, форму, движение, текстуру, прозрачность [1]. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких классификаторов. В литературе предложено несколько подходов для обнаружения дыма на видеоизображениях. Т. Чен и др. [2] для отделения дымных пикселей использовали модель цвета и динамическую меру роста и беспорядка областей дыма. В таком случае ложные тревоги неизбежны, так как на сцене практически всегда присутствуют движущиеся объекты сходного с дымом цвета. В работе [3] использована адаптивная модель фона и статистический метод анализа цвета для детектирования дыма в режиме реального времени. Оценка фона в режиме реального времени требует значительных вычислительных затрат в связи с быстрыми изменениями освещения сцены и, возможно, мерцанием пламени. В работе [4] для детектирования дыма на видео реализовано выделение движения, мерцания, краев размытия, а также цветовая характеристика. В работе [5] представлен алгоритм обнаружения дыма на виде с использованием вейвлетов и машины опорных векторов. Авторы работы [6] предложили метод обнаружения дыма по видеопоследовательности с использованием цветовых характеристик и особенностей движения. Выделение движения реализовано методом оптического потока. В. Ко и др. [7] реализовали методы обнаружения движения и анализа цвета регионов-кандидатов, похожих на дым, создали карту яркости для удаления «непожарных» пикселов и использовали машину опорных векторов для классификации. В работе [8] авторы получают вектор признаков с помощью объединения последовательности гистограмм локальных бинарных шаблонов и локальных вариативных бинарных шаблонов, а также используется нейронная сеть для классификации областей дыма. В работе [9] разработан программно-аппаратный комплекс для детектирования дыма, позволяющий использовать совместно цветовые, температурные и временные характеристики в последовательности кадров видеосерий невысокой частоты и интегрировать данные ИК-датчиков для обнаружения пожара в реальном времени. В работе [10] рассмотрено совместное обнаружение дыма и движение пламени. Движущиеся пикселы объединяются в область с помощью математической морфологии и контурного открытия. Движение оценивается методом вычитания фона. В работе также учитываются яркостно-цветовые свойства основных признаков пожара, применяются цветовая сегментация для пламени и анализ контраста для дыма. На этапе классификации используется пространственный и временной вейвлет-анализ как для пламени, так и для дыма. В настоящее время задача детектирования дыма на видеопоследовательности является актуальной вследствие сложности объекта исследования - произвольных форм, динамических и фрактальных свойств, вариаций внутри класса. Комбинированный метод выделения дыма на видеоизображении. Дым как динамическая текстура обладает следующими текстурными особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ распространения [11]. Для детектирования дыма на видеоизображении предложен комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний. Работа алгоритма детектирования дыма состоит из двух частей: выделение регионов-кандидатов, похожих на дым, и верификация таких областей с помощью методов текстурного анализа. Выделение фрагментов, похожих на дым, происходит, в свою очередь, в два этапа: предварительная сегментация и верификация динамических свойств дыма. Предварительная сегментация осуществляется методом сопоставления блоков. Для определения межкадровой разницы методом сопоставления блоков текущий кадр делится на непересекающиеся квадратные блоки. Для каждого блока текущего кадра выполняется поиск похожего блока в следующем кадре. В качестве критерия, оценивающего степень соответствия между блоком текущего кадра и блоком предыдущего кадра, используется сумма абсолютных разностей яркостей пикселов (Sum of Absolute Differences, SAD), суммирование производится по всем точкам прямоугольного блока (заданного размера): , где Pix - количество пикселов блока; и - яркости пиксела в текущем и предыдущем кадрах в точке t(x,y). Среди сумм абсолютных разностей (SAD), вычисленных в заданном радиусе окрестности поиска движения, выбирается тот блок, разница SAD для которого минимальна. При этом если разница минимальна у блока с самим собой, то движение считается ненайденным. Размер блока зависит от исходного размера изображения и удаленности от объекта съемки. Кроме того, при медленном дыме и значительном удалении допустим расчет суммы абсолютных разностей с пропуском одного или двух кадров относительно текущего. Алгоритм сопоставления блоков запускается сначала для двух соседних кадров. Если областей-кандидатов на дым в них не найдено, то происходит перестройка алгоритма, и поиск движения выполняется с пропуском одного (двух) кадров. Это связано с тем, что дым может двигаться очень медленно, и обнаружить движение в двух соседних кадрах бывает не всегда возможно. Далее для областей изображения, в которых выделено движение, применяются маски - цветовая и турбулентности. Цветовая модель дыма. Области цвета дыма могут быть определены путем установки пороговых значений в цветовом пространстве RGB [12] или в цветовом пространстве YUV [13]. Для всех движущихся блоков вычисляется соотношение , где T - порог, настраиваемый эмпирически. Например, для дыма лесного пожара характерно значение порога T = 10, техногенный дым, как правило, имеет значение порога T = 25. Турбулентность. Геометрическая сложность формы поверхности может быть количественно измерена с помощью безразмерной меры объемных областей [14]. Для замкнутых поверхностей, возникающих в d-размерном пространстве (d ≥ 2), размер такой области может быть описан мерой . Для заданного размера сфера имеет наименьшую площадь поверхности и описывается формулой: , где Γ(x) - гамма-функция. Тогда для любой замкнутой поверхности область Sd ограничена снизу, т. е. . Чтобы изучить поведение объемных областей в широком диапазоне размерностей, полезно нормализовать площадь поверхности по площади сферы одинакового размера. Итоговая мера, обозначенная Ωd, является безразмерной мерой сложности формы поверхности. Мера Ωd количественно описывает удаление формы сложности поверхности от минимального значения. Таким образом, неспрямляемые (например, фрактальные) поверхности будут соответствовать значению Ωd = ∞. Для 2D-замкнутых контуров мера размера становится квадратным корнем из замкнутой области, т. е. , так что сложность 2D-формы , где P = S2 - периметр контура; A - его площадь. Характерной чертой областей дыма является наличие завихрений, для мгновенной оценки завихрений может служить функция турбулентности, описанная в [15]. Мерой мгновенной оценки завихрений может служить функция турбулентности , где P(t) - периметр области дыма; A(t) - ее площадь. Таким образом, чем больше значение отношения периметра к площади, тем выше турбулентность исследуемой области, тем более такая область похожа на дым. Экспериментальные исследования. По результатам тестирования нескольких видеопоследовательностей эмпирически были установлены значения параметров работы комбинированного алгоритма выделения регионов-кандидатов, похожих на дым: размер блока, цветовые особенности дыма на видеоизображении и частота вычисления разницы кадров. Таким образом, экспериментальные исследования проводились с различными параметрами: размер блока в алгоритме сопоставления блоков (Blk) - исследован размер в 8, 15 и 30 пикселей; значения порога T в цветовой модели дыма - 10, 15, 20 и 25, и вычисление разницы в соседних кадрах (Rate) - через 1 и через 2 кадра. Использовано 17 видеопоследовательностей, 7 из которых содержали разного рода дым, а 10 не содержали дыма. На тестовых видеопоследовательностях присутствуют прозрачный и/или густой дым, движущиеся люди, движущийся транспорт, сложный динамический фон. Тестовые видеопоследовательности взяты из базы данных Билькентского университета [16] и базы данных DynTex [17]. При этом в некоторых дымных видеопоследовательностях из базы данных Билькентского университета дым присутствовал не на всем протяжении ролика, что позволяло оценить не только качество работы по количеству найденных кадров с дымом, но и скорость срабатывания системы (табл. 1, 2). Таблица 1 Результаты распознавания для видеопоследовательностей, содержащих дым (TS - точность сегментирования, FRR - ошибка первого рода, FAR - ошибка второго рода) Видеопоследовательность Описание Количество кадров Присутствовал / найден, кадр TS FRR FAR Dyntex/649ge10 Дым завода 1134 1-1134/1-1334 1 0 0 Dyntex/57db110 Дым сигареты 170 1-170/1-170 1 0 0,02 Bilkent/ISYAM Дым далеко 310 30-190/35-190 0,967 0,031 0,106 Bilkent/sWasterBasket Дымовая шашка 2247 22-2133/23-2133 0,999 0,001 0 Bilkent/sMoky Прозрачный дым костра 1498 1-1498/1-1498 1 0 0 Окончание табл. 1 Видеопоследовательность Описание Количество кадров Присутствовал / найден, кадр TS FRR FAR Bilkent/ParkingLot Дым на парковке 1726 260-1498/264-1483 0,984 0,015 0,333 Bilkent/sWindow Дым из корзины с мусором 405 20-405/56-405 0,906 0,094 0,104 Средние значения 0,979 0,021 0,08 Таблица 2 Результаты распознавания для видеопоследовательностей без дыма (FAR - ошибка второго рода) Видеопоследовательность Описание Количество кадров Количество кадров с ложной тревогой FAR Dyntex/6amg900 Фонтан 1040 20 0,0192 Dyntex/648ab10 Мельница 716 0 0 Dyntex/55fa210 Кипящая кастрюля 250 29 0,116 Dyntex/55fc310 Кипящая кастрюля 2 250 3 0,012 Dyntex/571b210 Автодорога и река 254 54 0,2126 Dyntex/644b910 Дом с зелеными шторами 250 1 0,004 Dyntex/646a81 Флаги 642 34 0,0529 Dyntex/64ad210 Морское дно 806 0 0 Dyntex/54ac110 Трава в поле 250 0 0 Bilkent/Car_lights Машины с включенными фарами в ночное время 385 100 0,2597 Средние значения 484,3 24,1 0,0676 Размер блока Blk для расчета разницы кадров с помощью алгоритма сопоставления блоков зависит от разрешения исследуемого изображения и удаления от объекта съемки. Чем больше размер изображения, тем большим может быть блок. Результаты поиска блока в радиусе три пикселя и в радиусе пять пикселей от исходного блока показали, что при увеличении радиуса поиска точность детектирования возрастает незначительно - на 0,5-0,7 %, при этом временные затраты на обработку одного кадра увеличиваются в полтора раза. Значение цветового порога дыма зависит от типа дыма. Так, дым от лесного пожара, сухих листьев, хлопковой веревки, как правило, имеет значение цветового порога T = 10-15. Техногенный дым - пожар в жилом доме, дым завода, дым от горящего самолета - имеет значения цветового порога T = 20-25. Параметр Rate = 1, 2, 3 показывает номер кадра относительно текущего, который следует учитывать для расчета движения, т. е. искать ли похожий блок в следующем кадре, через одни или через два кадра. Экспериментальные исследования показали, что требуется адаптивная подстройка этого параметра под каждую видеопоследовательность, так как этот параметр зависит от удаленности объекта съемки и скорости распространения дыма. Так, для медленного дыма из видеопоследовательности Bilkent/ISYAM Rate = 2, для сигаретного дыма Dyntex/57db110р Rate = 1. Кадры некоторых из исследуемых видеопоследовательностей, результаты детектирования дыма на них, а также параметры работы алгоритма, при которых эти результаты были получены, приведены в табл. 3. Результаты тестирования на трех видеопоследовательностях, содержащих разного рода дым, дали 100 %-ный правильный результат. При этом в двух видеопоследовательностях ложных тревог не было совсем, в одной видеопоследовательности, содержащей прозрачный сигаретный дым, ложное срабатывание произошло в четырех кадрах из 170. Среднее значение точности работы комбинированного метода сегментации дыма по видеоизображениям на дымных видеопоследовательностях составляет 0,979. Ложные срабатывания в дымных видеопоследовательностях происходят в среднем в каждом 12 кадре, число FAR для дымных видеопоследовательностей 0,08, в недымных видеопоследовательностях FAR = = 0,06764. Такие значения ложной тревоги говорят о том, что потенциальные источники ложных срабатываний, такие как движение листьев деревьев из-за ветра, перемещение людей, пересекающих сцену, движение автомобилей и движение облаков, в основном фильтруются. Таблица 3 Кадры исследуемых видеопоследовательностей (Blk (пиксели) - размер блока, T - порог цветовой модели дыма, Rate (кадр) - частота учета кадров для вычисления) Видеопоследовательность Dyntex/649ge10, кадр 13, разрешение 787×556 Dyntex/57db110р, кадр 1, разрешение 400×300 Bilkent/sWasterBasket, кадр 27, разрешение 320×240 Bilkent/sMoky кадр 21, разрешение 320×240 Bilkent/sParkingLot, кадр 486, разрешение 320×240 _000013.jpeg _000021.jpeg Результаты детектирования, парамерты алгоритма Blk = 30, T = 20, Rate = 2 Blk = 8, T = 15, Rate = 1 Blk = 8, T = 10, Rate = 1 Blk = 8, T = 25, Rate = 2 Blk = 8, T = 25, Rate = 1 _001141_areas.jpeg Без названия_000228_smoke.jpeg Без названия_000228_smoke.jpeg Без названия_000228_smoke.jpeg Заключение. Представленный в работе комбинированный метод детектирования дыма по видеоизображениям показывает высокую эффективность (до 100 %) как на видеопоследовательностях с густым дымом, так и на видеопоследовательностях с прозрачным дымом. Наименьшая точность детектирования 0,906 получена для видеопоследовательности Bilkent/sWindow вследствие высокой скорости изменения направления распространения дыма и его прозрачности. В видеопоследовательностях без дыма среднее количество ложных срабатываний 6,76 %, что говорит о том, что потенциальные источники ложных срабатываний в основном фильтруются. Эксперимент показывает, что требуется подстройка параметров алгоритма, таких как цветовой порог дымных объектов, размер блока и количество обрабатываемых кадров, под конкретные условия съемки.

作者简介

A. Pyataeva

Reshetnev Siberian State Aerospace University

Email: anna4u@list.ru
31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation

参考

补充文件