VISUAL SMOKE DETECTION BASED ON SPATIAL-TEMPORAL ANALYSIS OF VIDEO SEQUENCES

Abstract

A hybrid approach to visual smoke detection, based on spatial-temporal clustering of moving objects, is proposed. Visual smoke detection system, based on the algorithm of the hybrid approach, was developed and tested on a whole number of video materials. Conclusions and possible further investigations are offered in the end of this paper.

Full Text

В настоящее время наиболее распространенными методами обнаружения задымления и огня в помещениях являются взятие проб частиц воздуха, измерение внешней температуры и прозрачности среды. Однако все они требуют размещения соответствующих датчиков и приборов в непосредственной близости от источника огня и дыма. Кроме того, эти методы не являются достаточно надежными в отношении объектов, расположенных на открытом воздухе [1; 2]. В связи с широким распространением камер видеонаблюдения появилась возможность встраивать модули визуального обнаружения дыма и огня в существующие видеосистемы. Детектирование дыма по видеопоследовательностям имеет ряд преимуществ по сравнению с традиционными методами: - возможность обнаружения дыма даже на открытых пространствах, где обычные методы химического анализа не могут быть использованы; - практически мгновенная реакция на возникновение опасной ситуации: обнаружение дыма происходит в момент его возникновения; - возможность точного определения месторасположения очага возгорания [3; 4]. Несмотря на многообразие научных статей по данной тематике, задача визуального детектирования дыма по-прежнему остается нетривиальной. Одним из путей решения поставленной задачи является разработка теоретической базы для построения, исследова ния и реализации методов, позволяющих наиболее эффективно детектировать дым в видеоматериалах. В данной статье рассматривается проблема визуального детектирования дыма на видеопоследовательностях, включающая в себя нахождение на последовательных кадрах областей задымления и их маркирование. Эта проблема является чрезвычайно актуальной, поскольку по статистике урон от пожаров имеет одни из самых высоких показателей как по человеческим жертвам, так и по материальному ущербу по всему миру. Кроме того, детектирование дыма по видеопоследовательностям существенно дополняет традиционные методы обнаружения пожароопасной обстановки. Гибридный метод визуального детектирования дыма основывается на методах пространственной и временной кластеризации детектированных блоков в видеопоследовательностях. Преимуществом данного метода является способность отслеживать и объединять найденные области задымления, даже если они разделились в процессе горения (например, под воздействием потоков воздуха), и, наоборот, разделять области задымления от различных источников. Оптимальное отслеживание объектов дает возможность анализировать их форму и динамические показатели: траекторию, скорость и вектор движения, что значительно улучшает показатели эффективности детектирования. 46 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева Гибридный метод детектирования дыма в видеоматериалах состоит из шести основных этапов: 1) предобработки кадра; 2) детектирования движения; 3) текстурной сегментации; 4) удаления граней; 5) морфологической постобработки; 6) пространственной и временной кластеризации объектов. Рассмотрим этапы гибридного метода визуального детектирования дыма более подробно. На первом этапе исследуемый кадр видеопоследовательности подвергается предварительной обработке, которая включает в себя нормализацию изображения по яркости и контрасту, а также фильтрацию шумовых включений. Для шумоподавления используется медианный фильтр как один из наиболее распространенных и эффективных фильтров. Алгоритм медианной фильтрации обладает явно выраженной избирательностью к элементам массива с немонотонной составляющей последовательности чисел в пределах апертуры и эффективно исключает из сигналов отрицательные и положительные одиночные выбросы, попадающие на края ранжированного списка. С учетом ранжирования в списке медианные фильтры хорошо подавляют шумы и помехи, протяженность которых составляет менее половины окна, а монотонные составляющие сигналов медианный фильтр оставляют без изменений [5]. Благодаря этой особенности медианные фильтры при оптимально выбранной апертуре могут сохранять без искажений резкие границы объектов, подавляя некоррелированные и слабо коррелированные помехи и малоразмерные детали. На втором этапе для детектирования движения используется простой поэлементный текстурный метод сравнения двух последующих кадров [4]. Этот метод является базовым для большинства других, более сложных методов. Его суть заключается в поэлементном сравнении двух кадров видеопоследовательности: текущего кадра n и предыдущего кадра n - 1, полученных с заданной разницей либо по временному диапазону, либо по количеству кадров. Пиксели, цветовая разница которых между текущим и предыдущим кадрами будет выше заданной чувствительности, помечаются как пиксели, принадлежащие к движущейся области. Анализ цветовой разницы может проводиться цветовой моделью, наиболее подходящей для решения поставленных задач поиска движения [6; 7]. Рассмотрим метод сравнения двух последующих кадров подробнее. Определим кадр изображения, взятый в момент времени 'i, как множество Ii точек (x, y), а кадр изображения, взятый в момент времени 'i + 1, -как множество J Пусть ci(x, y) - функция яркости точки изображений, полученная на множествах I и J Для нахождения областей движения между двумя кадрами изображения I и J сравним соответствующие точки этих кадров. Для этого применим процедуру формирования разности кадров. Разностью между двумя кадрами изображения, взятыми в моменты времени 'i и 'j, является множество F =,J ) = ' |I (i, J)- J (i, J)|<0, I i M j)- j M j) |> 0, где 0 - значение порогового уровня, выбираемого таким образом, чтобы отделить точки, в которых кадры изображения, обусловленные движением распознаваемых объектов, значительно отличаются друг от друга, от точек, в которых за время 'i - 'j произошли незначительные шумовые перепады яркости. Изображение F(i, /) содержит предположительные области движения объектов и аддитивный шум, искажающий текущий кадр. На третьем этапе движущиеся пиксели подвергаются текстурному анализу по двум характеристикам: цветовой гамме исследуемых объектов, которая должна находиться в шкале серого цвета (это особенно характерно для плотных скоплений дыма) [8; 9], и полупрозрачности области задымления, которая сохраняет общую направленность цветового вектора (RGB, HSV или другого цветового пространства в зависимости от выбранной для текстурного анализа цветовой модели), характерного для фонового изображения. На этом этапе целесообразно перейти от цветовой модели RGB к цветовой модели HSV (Hue, Saturation, Brightness - оттенок, насыщенность, яркость) и исследовать параметр насыщенности S, поскольку для оттенков серого цвета величина насыщенности стремится нулю (S ^ 0) [10]. Также отметим, что при программной реализации переход к цветовой модели HSV оправдан и с точки зрения повышения производительности системы, так как эта модель позволяет ограничиться исследованием только одного параметра насыщенности S для полноценного текстурного анализа, поскольку данная величина при переходе из цветовой модели RGB к цветовой модели HSV зависит только от исходных значений параметров R, G, B и не использует при вычислении значений параметров цветового тона H и яркости V, расчетом которых можно пренебречь. Четвертый этап основан на физических особенностях областей, имеющих газообразную природу. Эти особенности связаны с оптическими свойствами плотных газообразных веществ: при пространственном совмещении с другими объектами дым, туман и пр., смазывают резкие грани объектов. Соответственно можно сделать вывод о том, что в местах скопления найденных граней дым отсутствует и, следовательно, эти области необходимо удалить из дальнейшей обработки. Алгоритм удаления граней состоит из четырех шагов: 1) поиска граней на основе фильтра Лапласа; 2) адаптивной бинаризации полученного изображения; 3) морфологического расширения найденных областей (операция Dilation); 4) вычитания полученного изображения из изображения текущего кадра, взятого на этапе текстурной сегментации. 47 Математика, механика, информатика Рассмотрим некоторые особенности описанных выше шагов. По виду матрицы L = Г-1 -1 -1 -1 -1Ï 8 -1 -1 -1 фильтр Лапласа похож на высокочастотный фильтр, но он генерирует абсолютно другое изображение: фильтр Лапласа относится к категории фильтров выделения границ с нулевой суммой коэффициентов матрицы: фильтр выделения границ заменяет равномерно окрашенные области черным цветом, а области с изменениями - цветом, отличным от черного (рис. 1). Поэтому для дальнейшей морфологической обработки и удаления граней из изображения, прошедшего текстурную сегментацию, полученное изображение подвергается бинаризации на основе адаптивного порога T: T = ( 1 max 1 min ) _ 2 , где Imax - глобальное значение максимума общей интенсивности пикселей изображения; Imin - глобальное значение минимума общей интенсивности пикселей изображения. Общая интенсивность рассчитывается как среднее арифметическое интенсивностей по трем каналам цветовой модели RGB: Ir + Ig + Ir I= 3 Применение операции математической морфологии Dilation позволяет расширить области найденных граней, что улучшает точность их удаления из области задымления. В некоторых случаях также целесообразно 2-3 раза применять операцию расширения. Для формирования связных областей интереса на завершающем шаге алгоритма удаления граней используется морфологическая обработка с адаптивным выбором размера маски в соответствии с размерами исследуемого изображения. К полученному после удаления граней кадру видеопоследовательности последовательно применяются операции закрытия (Closing) и открытия (Opening), маски которых эквивалентны. Математическая морфология предназначена для исследования структуры и формы множеств однотипных объектов. Любое изображение в компьютерной графике можно представить в виде набора пикселей. Поэтому операции математической морфологии применимы и к изображению. Пусть имеется двоичное изображение, представленное в виде упорядоченного множества чернобелых точек: 0 и 1. Область изображения - это обычно множество единиц изображения, и каждая операция математической морфологии является преобразованием этого множества. В качестве исходных данных принимаются двоичное изображение и некоторый структурный элемент, кодирующий информацию о простой форме. Этот элемент может быть произвольной формы (чаще всего симметричной) и структуры. В каждом элементе выделяется особая точка, называемая начальной. Эта точка может быть расположена в любом месте структурного элемента. В симметричных элементах это, как правило, центральный пиксель. Сначала все изображение заполняется нулевыми значениями, образующими фон. Затем в каждой точке осуществляется сканирование изображения структурным элементом. Для этого структурный элемент накладывается на изображение таким образом, чтобы совместились сканируемая и начальная точки. Далее проверяется условие соответствия пикселей структурного элемента и точек изображения под ним. Если условие выполняется, то на изображении ставится 1 (иногда сюда могут добавляться все единицы из структурного элемента) [4; 11]. По этой схеме выполняются базовые операции математической морфологии: расширение (Dilation) и сужение (Erosion). Производные операции - это некоторая комбинация базовых операций, выполняемых последовательно. Основными из них являются открытие (Opening) и закрытие (Closing). Отметим, что морфологические операции сами по себе не являются алгоритмами сегментации, а используются в качестве промежуточного этапа в процессе сегментации. Рис. 1. Пример применения фильтра Лапласа: слева - исходное изображение; справа - изображение после обработки 48 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева На шестом этапе при пространственной кластеризации найденных объектов производится выделение связных областей на текущем кадре видеопоследовательности, а при временной кластеризации выявляется соответствие между объектами, найденными в ходе пространственной кластеризации на текущем и предыдущем кадрах, для чего используется метод совмещения объектов по размеру и смещению. Такой выбор объясняется тем, что применительно к детектированию дыма временная кластеризация на основе цветовой информации не является эффективной по ряду причин. В частности, несколько разрывных блоков, движущихся в различных направлениях по пересекающимся траекториям, с большой вероятностью могут иметь один источник и, соответственно, очень схожую текстурную информацию, а области задымления, принадлежащие одному источнику, могут менять цветовую окраску в процессе горения в достаточно широком и трудно предсказуемом диапазоне. В данном случае оптимальным является определение соответствия объектов предыдущего и текущего кадров на основе анализа изменения размера и пространственного смещения, в ходе которого для каждого объекта вычисляется коэффициент смещения Offset, также отражающий возможное изменение в размерах: лизован в виде программной системы визуального детектирования дыма Smoke Alarm. Offset = (Xmin,max уmin,max j - (xmin,max уmin,max j *n ' 'n-1 H ,W где Xmm,max, уmin,max _ координаты верхнего левого и нижнего правого угла прямоугольника, аппроксимирующего объект интереса; H - высота кадра; W - ширина кадра. Объекты текущего и предыдущего кадров, имеющие наименьшее отклонение значения смещения Offset, помечаются как связанные области. После установления соответствия между объектами текущего и предыдущего кадров производится слияние объектов, имеющих пересечение областей, и строятся векторы движения. Эти векторы соединяют середины прямоугольников, аппроксимирующих поставленные друг другу в соответствие объекты на текущем и предыдущем кадрах [12; 13]. Построение векторов движения детектированных областей задымления является лишь одной из возможностей применения результатов пространственновременной кластеризации наряду с расчетом скорости движения, анализом траектории и динамики изменения размеров исследуемых областей. Пример выходного изображения, полученный после слияния движущихся объектов соседних кадров, прошедших пространственную и временную кластеризацию по описанным выше алгоритмам и построения векторов движения объектов, связанных по временной оси, представлен ниже (рис. 2). Гибридный метод визуального детектирования дыма в видеоматериалах на основе пространственновременной кластеризации движущихся регионов реа- Рис. 2. Построение векторов движения блоков В разработанном программном продукте пространственно-временная кластеризация областей задымления выполнена в виде дифференцированного цветового маркировании областей, совершающих разнонаправленное движение, а также отыскания векторов движения для отдельных движущихся блоков детектированной области. В ходе экспериментального анализа системы визуального детектирования дыма, разработанной на основе рассматриваемого гибридного метода, эффективность детектирования дыма определялась на ряде видеопоследовательностей, содержащих различные типы задымления, которые имеют разные показатели скорости движения, цветовой гаммы и пр. Тестирование результатов проводилось посредством специально разработанного интегрированного модуля сравнения результатов анализа. На вход этого модуля подается изображение для сравнения, на котором область задымления маркирована системой детектирования дыма, и изображение-эталон, на котором область задымления маркирована экспертом на основании эмпирико-визуальных суждений. В ходе анализа изображения сравниваются по следующим показателям (для пп. 1-3 - в процентах относительно размера эталонной области, для п. 4 -в процентах относительно размера кадра): 1) область совпадения; 2) недетектированные элементы; 3) ложно детектированные элементы; 4) размеры детектированных областей. На сводном графике результатов тестирования (рис. 3) можно легко определить, что точность детектирования областей задымления (исходя из линии «Область совпадения») составляет приблизительно 60 %, количество недектированных элементов - в среднем меньше 40 %, ложно детектированные элементы в среднем не превышают 20 %. Все эти показатели говорят о высокой точности маркирования найденных областей задымления. 49 Математика, механика, информатика _Сводный график результатов тестирования ■ Область совпадения (%) 120 • Недетектированные элементы элементы о С -X— Отношения размеров детектированных областей 100 80 60 40 20 12 3 4 № видеопоследовательности Рис. 3. Сводный график результатов тестирования 0 5 Этот вывод также подтверждается анализом графика отношения размеров детектированных областей. Показатель «Отношения размеров детектированных областей» рассчитывается на основании табличных данных «Размер детектированной области (входное изображение, %)» и «Размер детектированной области (эталон, %)» как отношение размеров детектированной области входного изображения к детектированной области изображения-эталона. Для соответствия размерности сводного графика и повышения наглядности данный показатель представлен в процентах. При проведении экспериментов показатель отношения размеров детектированных областей был близок к 100 %, что свидетельствует об эквивалентности размеров детектированных областей. Результаты, полученные в ходе тестирования, позволяют говорить о высоких показателях эффективности маркирования областей задымления и, соответственно, об устойчивой работе системы визуального детектирования дыма при работе с реальными видеопоследовательностями. Разработанный гибридный метод визуального детектирования дыма на основе пространственно-временной кластеризации найденных областей задымления анализирует динамические характеристики области задымления по серии кадров и рассчитывает траектории, скорости, векторы движения дымовых потоков, а также классифицирует области задымления по источникам горения и позволяет работать с несколькими движущимися областями. Эти особенности способствуют увеличению эффективности детектирования дыма за счет более точного выделения областей задымления. Созданный программный продукт является исследовательским и направлен на проведение экспериментов для разработки адаптивных алгоритмов визуаль ного детектирования дыма. Однако уже на сегодняшний день он показывает хорошие результаты по точности маркирования областей задымления. Следует отметить, что высокая точность детектирования дыма в реальных условиях возможна только при комбинированном применении визуальных методов детектирования и температурного контроля исследуемой области. Визуальные методы необходимы для быстрого детектирования появления опасных ситуаций уже на первых секундах возгорания, а температурный контроль следует применять для исключения ложных срабатываний в сложных ситуациях, связанных с детектированием пара или других газообразных объектов, поскольку природа этих объектов идентична природе дыма и зачастую не поддается зрительной дифференциации. В дальнейшем планируется продолжить исследования, связанные с использованием таких динамических характеристик кластеризованных движущихся блоков, как вычисление скорости, общей средней траектории движения и т. д.