Обнаружение областей задымления на видеопоследовательности с применением локальных бинарных шаблонов

Полный текст

Введение. Актуальность задачи раннего обнаружения дыма на открытых пространствах с помощью текстурного анализа изображения (или видеоряда) вызвана бесполезностью датчиков, основанных на химическом анализе продуктов сгорания, поскольку на открытых пространствах происходит быстрое уменьшение их концентрации. Обычно дым детектируется на видеопоследовательности раньше пламени, поэтому факт появления дыма можно считать существенным признаком пожара. Таким образом, проблема раннего обнаружения огня на видеоизображении может быть сведена к задаче нахождения дыма на видео, так как дым обычно становится видимым раньше, чем может быть обнаружен огонь. Большинство методов детектирования дыма на видеоизображениях основаны на выделении движения, цветовых и текстурных особенностях, позволяющих разделить классы «дым - отсутствие дыма» [1-3]. Дым как объект исследования имеет сложную газообразную структуру с нестабильными параметрами движения, изменяемой цветовой характеристикой (от полупрозрачной текстуры до черных непрозрачных фрактальных образований), изменяемыми контурами, эффектами мерцания и прочими динамическими свойствами [4-6]. Алгоритмы обнаружения дыма можно классифицировать следующим образом: обнаружение дыма на основе гистограмм, временной анализ областей задымления, методика с применением эвристических правил и гибридный подход, комбинирующий эти методы. Успешность решения задачи обнаружения дыма на ранних этапах требует минимизации пропусков цели. Одним из эффективных способов анализа локализованных глобальных регионов-кандидатов является текстурный анализ с использованием локальных бинарных шаблонов. Преимуществами локальных бинарных шаблонов является инвариантность к повороту и освещению, а также небольшие вычислительные затраты [7; 8]. Широко известно применение локальных бинарных шаблонов для распознавания лиц, однако в последнее время он активно используется в других задачах цифровой обработки изображений. В работе для классификации текстур использован метод локальных бинарных шаблонов, инвариантный, рассмотрены следующие вариации шаблонов: локальные бинарные шаблоны (ЛБШ), локальные тернарные шаблоны (ЛТШ) и расширенные локальные бинарные шаблоны (РЛБШ). Локальные бинарные шаблоны. В работе [9] введены понятия равномерных (не более двух переходов в шаблоне), инвариантных к вращению шаблонов. В дальнейшем были предложены другие модификации ЛБШ, такие как локальные тернарные шаблоны (Local Ternary Pattern), и ряд других модификаций. Все известные на сегодня виды ЛБШ являются пространственными операторами. Оператор ЛБШ представляет собой описание окрестности пикселя радиуса R. Количество пикселей окрестности n зависит от R и определяется формулой n = (2R + 1)2 - 1. Оператор ЛБШ, который применяется к пикселю изображения, использует n пикселей окрестности, принимая центральный пиксель в качестве порога. Пиксели, которые имеют значения больше, чем центральный пиксель (или равное ему), принимают значения «1», те, которые меньше центрального, принимают значения «0». Таким образом, получается n- разрядный бинарный код, который описывает окрестность пикселя. При R = 1 для построения ЛБШ учитывается 8 значений пикселей соседей, обход происходит по спирали по часовой стрелке (рис. 1). Введем понятие шаблона - Pattern. Pattern = LBP(P, R) в случае расчета бинарных ЛБШ определяется по следующей формуле: LBP( P, R) = 2 * (In - Ic )• 2n, n=0 где P - количество пикселов в окрестности; R - радиус окрестности; s(x) = 1, если x > 0, и s(x) = 0 в противном случае; In и Ic - значения яркости текущего и центрального пикселов, представляющие собой значение яркости Y из цветовой схемы YUV [10-12]. Расширенные ЛБШ. РЛБШ представляют собой круговую окрестность пикселя с произвольным числом точек P и радиусом R. При этом значение интенсивности пикселей вычисляются посредством билинейной интерполяции значений яркости [13]. Точки, учитываемые при расчете РЛБШ для разных значений радиуса, показаны на рис. 2. Для радиуса R = 1 шаблон рассчитывается как для обычного ЛБШ (рис. 2, а). При радиусе R = 2 и учете восьми точек окрестности вычисление ЛБШ (рис. 2, б) происходит следующим образом: учитываются сами значения точек, отмеченные значком Ф, значения точек, отмеченные значком Н, рассчитываются как среднее арифметическое из четырех соседних точек с метками «1», «2», «3», «4». При R = 2 и 12 точках окрестности (рис. 2, в) соседями считаются пиксели, отмеченные значком Ф. Расчет паттерна РЛБШ происходит так же, как и базового ЛБШ, т. е. Pattern = = LBP (P, R). Локальные тернарные шаблоны. Оператор ЛТШ, который применяется к пикселю изображения, использует n пикселей окрестности, принимая центральный пиксель в качестве порога. Тернарный n-разрядный код, который описывает окрестность пикселя, формируется по формуле n=0 0, s * (x, t) = < 1, P-1 LTP(P,R) = £s*(( -Ic)• 3” , где P - количество пикселов в окрестности; R - радиус окрестности; s * (x, t) - пороговая функция; In и Ic - значения яркости текущего и центрального пикселов; t - преопределенный порог, в данной работе t = 5 [14]: при x > t; при |x| < t; -1, при x < -t. Pattern = LTP(P,R) в случае вычисления локальных тернарных шаблонов. Способы вычисления шаблонов. Рассмотрим способы вычисления шаблонов: шаблоны с прореживанием и вычисление шаблона в каждой точке. При шаблонах с прореживанием исходное изображение разбивается на части для расчета локального шаблона, исходя из значения радиуса R (рис. 3). Изображение разбивается на квадраты размера dim = (2R + 1)2 + 1 пикселей, начиная от верхнего левого угла. При R = 1 размер квадрата 3 х 3 пикселей, при R = 2 - 5 х 5 и т. д. Для каждого квадрата вычисляется свой локальный шаблон, тем самым шаблоны не пересекаются. При этом если изображения «не хватает» для заполнения яркостями квадратов ЛБШ слева и внизу, то такие пиксели отбрасываются. Максимально возможный отброшенный кусочек справа имеет ширину width < < 2R, а снизу height < 2R. Так как такие пиксели находятся по краям изображения, занимаемая ими область незначительна относительно исходного изображения (размер изображения видеопоследовательности тестовой базы начинается от 300x400 точек, а в основном составляет 787x576 точек), поэтому можно отбросить такие пиксели, которые занимают не более 3 % изображения. Кроме того, если эти пиксели дополнить нулями для получения «полноценного» квадрата для ЛБШ, то в этом месте ЛБШ будут равны 0, что не отразится на гистограмме. При расчете шаблона в каждом пикселе изображение не разбивается на непересекающиеся блоки, бинарная строка локального шаблона рассчитывается для каждого пикселя, происходит пересечение шаблонов. Вычисление паттерна Pattern локального шаблона происходит одинаково как в случае работы с прореживанием, так и при работе без него. Темпоральный вариант. В темпоральном варианте вычисления локального шаблона учитываются три кадра видеопоследовательности: текущий, предыдущий и следующий. Базовый ЛБШ для R = 1 в темпоральном варианте выглядит так, как представлено на рис. 4. а б Рис. 2. Точки, участвующие в расчете паттерна РЛБШ: а - R = 1, 8 точек окрестности; б - R = 2, 8 точек окрестности; в - R = 2, 12 точек окрестности і * W * 4 ч і <ri 4 4 * «г в Рис. 3. Шаблон с прореживанием для ЛБШ при R = 1 Предыдущий кадр Текущий кадр Рис. 4. Темпоральный вариант ЛБШ Следующий кадр 1 0 ЛБШ формируется в порядке обхода точек: 9 точек ЛБШ предыдущего кадра, 8 точек ЛБШ текущего кадра и 9 точек ЛБШ следующего кадра. Предобработка результатов вычисления шаблонов. Предобработка результатов представляет собой промежуточный этап перед построением гистограммы. Каждый метод вычисления шаблона требует определенных методов предобработки данных для построения гистограммы. Рассмотрим их подробнее. Локальные бинарные шаблоны предобработки не требуют. Для РЛБШ введем понятие равномерных шаблонов. Равномерные шаблоны - это бинарные коды определенного вида; шаблон, который содержит не более трех переходов в шаблоне от 0 к 1 и наоборот. Например, шаблон 00110011 является равномерным, а шаблон 10101010 - нет. Равномерные шаблоны несут в себе больше информации, чем другие. Равномерные шаблоны определяют такие важные особенности изображения, как пятна, концы линий, углы, грани [15]. Для обеспечения инвариантности к вращению используются только равномерные шаблоны и все их циклические сдвиги [16]. Каждый равномерный шаблон является сдвигом одной из комбинаций, этой комбинации присваивается номер, который и является инвариантным к вращению. Поскольку исходные бинарные векторы инвариантны относительно циклического сдвига, то для каждого бинарного вектора из списка строится список десятичных значений. Каждое десятичное значение рассчитывается для циклического сдвига вектора на n элементов, где n изменяется от 1 до размерности вектора. В процессе построения списка десятичных значений, соответствующих текущему бинарному вектору, происходит подсчет количества переходов от 0 к 1 для каждого сдвига. Если минимальное число переходов не больше 3, то из списка десятичных значений, соответствующих текущему бинарному вектору, берется наименьшее. Если минимальное число переходов больше 3, то исходный бинарный вектор рассматривается особо: ему сопоставляется число, равное максимальному возможному целому для данной размерности, увеличенному на 1. В итоге получается список десятичных чисел, каждое из которых соответствует своему бинарному вектору. Конечная гистограмма РЛБШ строится классическим способом по итоговому набору десятичных чисел. Предобработка тернарного n-разрядного кода происходит следующим образом: полученный код разбивается на два бинарных n-разрядных кода: up ЛТШ - отрицательные значения заменяются 1, low ЛТШ - отрицательные значения заменяются 0. Далее по каждому из полученных наборов бинарных n-разрядных кодов строится своя гистограмма. Способы построения гистограмм. Построение гистограмм по сформированному набору n-разрядных бинарных кодов происходит двумя способами: - классический способ - каждая бинарная строка преобразуется в десятичное число, подсчитывается количество одинаковых чисел с определением положения и высоты столбцов гистограммы; - сумма единиц для каждого разряда ЛБШ - вычисляется количество единиц в каждом разряде бинарного кода, давая тем самым высоту столбца гистограммы. Классический способ построения гистограмм. Каждая бинарная строка преобразуется в десятичное число (рис. 5), затем подсчитывается количество повторений таких чисел для всего изображения. 10110011 ^ 179 00101000 ^ 40 10101010 ^ 170 Рис. 5. Обработка ЛБШ (классический способ) Варианты чисел откладываются по оси абсцисс, а число повторений каждого из чисел - по оси ординат. Таким образом, классическую гистограмму описывает следующая формула: N M H (к) = Ц f (Pattern, к), і=1 j=1 к є [0,K], K = max(Patternp r (i, j)), где M*N - размер изображения; Pattern = LBP(P, R) в случае расчета базовых и расширенных ЛБШ, Pattern = LTP(P, R) в случае тернарных шаблонов. Альтернативный способ построения гистограмм - сумма единиц для каждого разряда ЛБШ. В списке бинарных строк производится подсчет количества единиц на каждой позиции (рис. 6) и строится гистограмма, в которой значения по оси X изменяются от 1 до длины бинарной строки (для LPB при R = 1 их 8), по оси OY - количество единиц в каждой позиции бинарной строки. 0110011 0101000 1 0101010 Рис. 6. Обработка списка бинарных строк Построение решающего правила. Мерой различия гистограмм двух сопоставляемых изображений при построении соответствующего решающего правила использовалось расстояние Кульбака-Лейблера: P(P-1)+3 і DK,L (s1,52) = ^ Sk ,ln“2 , k=1 sk где и s2 - гистограммы первого и второго изображения; к - номер столбца; Р - число точек в окрестности ЛБШ. Экспериментальные исследования. Эксперимент проводился на видеопоследовательностях, содержащих густой и прозрачный дым, а также видеопоследовательностях, на которых дыма нет, взятых из базы данных динамических текстур Dyntex [17]. Использовано три видеопоследовательности, содержащих густой дым, и одна видеопоследовательность с прозрачным дымом. Каждая видеопоследовательность разбита на кадры исходя из соотношения 25 кадров в секунду. Из полученных кадров вручную были выделены фрагменты, содержащие дым. Было получено 660 фрагментов густого дыма и 83 фрагмента прозрачного дыма. При этом размер фрагментов для густого дыма составляет 70 х 70 пикселов, для прозрачного дыма - 55 х 65 пикселов. Также были использованы 991 фрагмент размером 70x70 пикселов и 336 фрагментов размером 55x65 пикселов с отсутствием дыма. Шаблоны, вычисленные в каждой точке, предпочтительнее, так как точность распознавания в этом случае выше, а количество ошибок первого и второго рода в среднем в два раза меньше. Для густого дыма ЛБШ и ЛТШ показывают одинаковую эффективность как в случае классических гистограмм, так и при построении гистограмм «сумма единиц для каждого разряда шаблона», однако во втором случае в два раза возрастает количество ложных срабатываний. Расширенные бинарные шаблоны также показывают высокую эффективность работы, уменьшая при этом число пропусков события и ложных срабатываний по сравнению с ЛТШ и ЛБШ. Изменение радиуса расчета РЛБШ не влияет на точность распознавания, однако с увеличением радиуса на 25 % возрастает число ложных срабатываний. В темпоральном варианте лучшими оказываются расширенные бинарные шаблоны, показывая более высокую эффективность для густого дыма на протяжении всей серии экспериментов. Результаты распознавания густого дыма приведены в табл. 1. 3Б-вариант Расширенные бинарные шаблоны Видеофрагменты R = 1 R = 2 8 точек окрестности 8 точек окрестности 12 точек окрестности TR FRR FAR TR FRR FAR TR FRR FAR Густой дым 0,990 0 0,0098 1,00 0,00 0,00 1,00 0,00 0,00 Отсутствие дыма 1,00 0,0098 0,00 1,00 0,00 0,00 1,00 0,00 0,00 Таблица 1 Результаты распознавания густого дыма (TR (%) - точность распознавания, FRR (%) - ошибка первого рода, FAR (%) - ошибка второго рода) Видеофрагменты Гистограммы «сумма единиц для каждого разряда ЛБШ» Гистограммы классические Бинарные шаблоны Тернарные шаблоны Бинарные шаблоны Тернарные шаблоны TR FRR FAR TR FRR FAR TR FRR FAR TR FRR FAR Густой дым 0,997 0,003 0,003 0,997 0,082 0,003 0,997 0,005 0,003 0,998 0,019 0,002 Отсутствие дыма 0,997 0,003 0,003 0,918 0,003 0,082 0,995 0,003 0,005 0,981 0,002 0,019 Расширенные бинарные шаблоны Видеофрагменты R = 1 R = 2 8 точек окрестности 8 точек окрестности 12 точек окрестности TR FRR FAR TR FRR FAR TR FRR FAR Густой дым 0,998 0,002 0,001 0,998 0,025 0,001 0,998 0,025 0,001 Отсутствие дыма 0,998 0,001 0,002 0,974 0,001 0,025 0,974 0,001 0,025 Бинарные и тернарные шаблоны в случае прозрачного дыма не дают приемлемых результатов, максимальная точность распознавания в этом случае составляет 80,7 %, при этом пропуск события происходит в 19,3 % случаях и в 39 % происходит ложное срабатывание. Единственным методом, позволяющим выделить прозрачный дым на изображении, является метод РЛБШ при радиусе в один пиксель в одномерном случае. При увеличении радиуса вычисления шаблона эффективность РЛБШ падает (табл. 2). Вычисляемые в РЛБШ равномерные шаблоны определяют такие важные особенности изображения, как пятна, концы линий, углы, грани. При построении гистограммы каждому равномерному шаблону соответствует свой столбец, а всем неравномерным шаблонам один общий. При пространственном совмещении с другими объектами дым, исходя из своих физических особенностей, смазывает резкие грани объектов, следовательно, в местах скопления граней дыма нет. Этим и определяется эффективность расширенных бинарных шаблонов при анализе прозрачного дыма. Результаты распознавания прозрачного дыма (TR (%) - точность распознавания, FRR (%) - ошибка первого рода, FAR (%) - ошибка второго рода) Таблица 2 Видеофрагменты Расширенные бинарные шаблоны R = 1 R = 2 8 точек окрестности 8 точек окрестности 12 точек окрестности TR FRR FAR TR FRR FAR TR FRR FAR Прозрачный дым 0,9518 0,0327 0,0481 0,8072 0,4791 0,1927 0,7108 0,3422 0,2891 Отсутствие дыма 0,9672 0,0481 0,0327 0,5208 0,1927 0,4791 0,2891 0,2891 0,3422 Таким образом, для густого дыма подходит группа методов текстурного анализа. Наилучшую эффективность показывают расширенные бинарные шаблоны в темпоральном варианте, так как в этом случае учитываются три кадра дыма и особенности текстуры дыма становятся еще более выраженными. Для распознавания прозрачного дыма подходят только расширенные бинарные шаблоны с радиусом 1 в 2Б-случае за счет учета таких особенностей изображения, как грани, углы и линии. Заключение. Полученные в работе результаты показывают, что классический способ построения гистограмм эффективнее способа «сумма единиц разрядов шаблона», а шаблоны, вычисленные в каждой точке изображения, имеют преимущество перед шаблонами с прореживанием. Анализ результатов расчетов распознавания показывает, что тернарные шаблоны обладают преимуществом перед бинарными за счет снижения влияния шума на результат анализа текстуры изображения. Лучшим методом текстурного анализа для видеопоследовательностей, содержащих дым, является метод РЛБШ, дающий 100 % точности на густом и 96 % на прозрачном дыме. При этом радиус расчета шаблона равен единице. Такие результаты объясняются тем, что расширенные шаблоны учитывают специфические особенности изображения, такие как грани, углы, линии, поскольку и густой и прозрачный дым сглаживают резкие грани изображения.

Об авторах

Анна Владимировна Пятаева

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева

Email: anna4u@list.ru
аспирант кафедры информатики и вычислительной техники, Институт информатики и телекоммуникаций Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Список литературы

Дополнительные файлы