VIDEO BASED DYNAMIC TEXTURE RECOGNITION UNDER SPECIFIC ILLUMINATION CONDITIONS

全文:

Введение. Качество работы любого алгоритма компьютерного зрения падает вследствие наличия шумов, вносимых сложными погодными условиями, а также связанных с недостаточной освещенностью. Так, в работе [1] показано, что при наличии атмо- сферных осадков точность работы алгоритма верифи- кации областей задымления падает на 10-15 %. Время суток существенно влияет на особенности отображе- ния искомого объекта на видеопоследовательности. Уровень освещенности объектов на изображении является одним из основных аспектов, влияющих на качество работы алгоритмов компьютерного зрения, так как правильно различать предметы, например в сумерках при смене времени суток, бывает сложно даже человеку. Например, в работе [2] показано влия- ние времени суток на качество работы системы ви- деонаблюдения по обнаружению стоп-линий на регу- лируемых перекрестках, при этом количество ложных срабатываний зависело от полосы движения, времени суток, солнечной или пасмурной погоды, среднее количество ложных срабатываний варьировалось от 2 до 36 %. Для распознавания лиц при изменяющемся освещении предлагается алгоритм, основанный на представлении исходного изображения в виде мат- рицы изменения яркостей, что позволяет добиться устойчивости относительно изменений условий осве- щенности [3]. Снижение качества распознавания из-за изменений условий освещенности было описано в работах [4-9]. За последние годы было предложено множество алгоритмов по способам компенсации недостаточной освещенности, в которых можно выделить три основ- ных подхода [10]: 1. Методы, напрямую моделирующие освещение (построение конусов освещения). 2. Методы, основой которых является представле- ние изображения, нечувствительного к изменению освещенности (операторы Собеля, Робетса, Прюита, метод Канни, вейвлеты Габора). 3. Методы, нормализующие освещенность (методы фильтрации, устранение шумов, методы коррекции). Для компенсации недостаточной освещенности съемки в работе использованы методы повышения качества изображения, нормализующие освещенность. Особенности динамических текстур. Обнаруже- ние динамических текстур в настоящее время находит широкое применение в системах видеонаблюдения как на городских территориях, так и при наблюдении за природными объектами. Целями поиска динамиче- ских текстур на видеоизображениях могут являться экологический мониторинг, обеспечение безопасно- сти, контроль. К динамическим текстурам относят дым и пламя, воду, группу птиц, листья, облака, толпу людей и др. Динамическая текстура может рассмат- риваться как расширение статической текстуры, до- полнительно содержащей элементы движения. Дина- мические текстуры - очень широкий, но слабоизучен- ный тип текстур, который используется во многих задачах компьютерного зрения. Динамические тексту- ры могут иметь стохастическую и регулярную состав- ляющую [11]. К характеристикам динамических текстур можно отнести следующие [12]: - большое разнообразие форм; - пространственные и временные закономерности; - большой объем исходных данных; - малое количество предопределенных структур. Вероятностными особенностями динамических текстур являются размер, ориентация в пространстве, формы и расположение составных частей объекта на видеоизображении. Методы анализа динамических текстур зависят от искомого объекта и разделяются на следующие категории: 1. Методы, основанные на нахождении движения. Это наиболее популярная категория методов, так как движение - естественное свойство динамических текстур. 2. Пространственно-временная фильтрация и методы, основанные на преобразованиях. Эта группа методов описывает динамические текстуры в различных мас- штабах в пространстве и времени. К ней относятся, например, вейвлет-преобразования. 3. Методы, основанные на построении математиче- ских моделей, таких как генеративные (порождающие) модели (например, линейные динамические системы). Генеративные модели могут быть использованы для синтеза, сегментации и классификации. 4. Методы, основанные на геометрических пространственно-временных свойствах. Эта группа методов базируется на свойствах движущихся поверхностей. На основе характеристик поверхности возможно выявить особенности движения и опреде- лить внешний вид исследуемой текстуры. Для обнаружения динамических текстур часто ис- пользуется анализ беспорядка областей. Сложность вариаций контура может быть оценена с помощью фрактальной размерности. Например, фрактальная размерность, описывающая стохастическое поведение каждого набора пикселов, может быть оценена с помощью четырех мер: интенсивности пиксела µI, выражение (1), временного градиента яркости µB, выражение (2), нормального потока µF, выражение (3) и лапласиана µL, выражение (4) [13]: фильтр и др. В работе использован многомасштабный алгоритм «Ретинекс» (Multi Scale Retinex) [14]. МногоmI ( p0 ,t0 ) = òò B( p0 ,t0 ,rs ,rt ) I ( p,t)dpdt, (1) масштабный алгоритм «Ретинекс» основан на понятии цветопостоянства и представляется уравнением где I(p, t) - значение интенсивности пиксела p в видеопоследовательности изображений градации серо- го, t = 1, 2, …, N; выражение B(p , t , r , r ) определяет Ri (x, y) = C(x, y) ´ Подпись: N ´åW i (log[Ii (x, y)] - log[Ii (x,y) × F (x, y)]). (5) 0 0 s t i=1 3D-куб с центром в точке (p0, t0), с пространственным радиусом rs и временным радиусом rt. Таким образом, определяемая по выражению (1) мера mI ( p0 ,t0 ) пока- зывает общую интенсивность в пространственно- временной области для соседей точки (p0, t0). Времен- ной градиент яркости рассчитывается следующим образом: Для подавления шума на изображениях, как пра- вило, применяют низкочастотные фильтры. К таким фильтрам относятся линейные усредняющие, нели- нейные усредняющие, ранговые, полиномиальные. Наиболее эффективными фильтрами устранения аддитивного шума являются линейные усредняющие фильтры [15], основанные на операции линейной mB ( p0 , t0 ) = ¶I ( p, t)dp, ò ¶t (2) свертки, вычисляемой согласно формуле (m-1)/ 2 (n-1)/ 2 B( p0 ,t0 ,rs ) где B(p0, t0, rs) - пространственный квадрат с центром Gi, j = å å s=(m-1)/ 2 t =(t -1)/ 2 Ws,t ×E(i+s),( j +t ) , (6) в точке (p0, t0), с пространственным радиусом rs (та- ким же, как и у меры µI). Эта мера показывает изме- нение суммарной временной интенсивности динами- ческой текстуры вокруг точки (p0, t0). Для вычисления нормального потока используется формула (3), пока- зывающая измерение перемещения пикселов вдоль направления, перпендикулярного градиенту яркости: ¶I ( p, t) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива ядра свертки изображения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Основными моделями аддитивного шума являют- ся шум Гаусса, Релея, Эрланга, экспоненциальный, белый и шум квантования. Шум Гаусса, или нормаль- ный шум, образуется в собственных электрических mF ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) ¶tdp. ÑI ( p) (3) цепях цифровых аппаратов и в фотосенсорах при недостаточной освещенности и сильных перепадах температур. Для устранения такого шума использует- Лапласиан, также используемый в качестве меры для динамического фрактального анализа, рассчиты- вается по формуле ся фильтр Гаусса, характерный фильтр размытия изо- бражения, который использует нормальное распреде- ление для вычисления преобразования, применяемого mL ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) DI ( p, t)dp. (4) к каждому пикселу изображения. Распределения Гаус- са в N измерениях имеет вид В работе качество работы алгоритма компенсации недостаточной освещенности исследовано на примере G(r) = 1 (2ps2)N /2 e-r2 /(2s2 ) , (7) сложной динамической текстуры - дыма. В настоящие время задача детектирования дыма на видеопоследоили, в частном случае, для двух измерений: e , вательности является актуальной вследствие сложно- сти объекта исследования - произвольных форм, G(u, v) = 1 2ps2 -(u2 +v2 )/(2s2 ) (8) динамических и фрактальных свойств, вариаций внутри класса, а также из-за возникающих шумов на изображениях. Компенсация условий недостаточной освещен- ности. Изображения, полученные при съемке в ночное время, как правило, обладают следующими особенно- стями [10]: - ограниченный диапазон малых значений яркостей; - низкая контрастность; - присутствие аддитивного шума. Следовательно, для компенсации недостаточной освещенности и повышения качества темных изобра- жений необходимо расширить диапазон яркостей, увеличить среднюю яркость пикселов изображений, повысить контраст и избавиться от аддитивного шума. Для компенсации недостаточной освещенности могут быть использованы методы гистограммной коррекции и усовершенствованные его формы (AHE, CLAHE, MAHE), спецификация, гомоморфный где r - это радиус размытия, r2 = u2 + v2; σ - стандарт- ное отклонение распределения Гаусса. В случае двух измерений эта формула задает поверхность, имею- щую вид концентрических окружностей с распреде- лением Гаусса от центральной точки. Пикселы, где распределение отлично от нуля, используются для построения матрицы свертки, которая применяется к исходному изображению. Значение каждого пиксела становится средневзвешенным для окрестности. Исходное значение пиксела принимает наибольший вес (имеет наивысшее гауссово значение), и соседние пикселы принимают меньшие веса в зависимости от расстояния до них. Импульсный шум возникает в результате ошибок декодирования, в процессе передачи фото- и видео- изображений вследствие электромагнитных наводок на канал передачи, а также в результате ошибок записи на устройствах хранения. Он характеризуется появле- нием случайных белых и черных точек. Наиболее эффективными фильтрами для подавления импульс- ного шума являются усредняющие фильтры, а имен- но, медианная фильтрация, которая позволяет сохра- нить четкость деталей изображения. Медианные фильтры основаны на том, чтобы избавиться от резко отличающихся от других значений яркости пикселов, заменяя их значениями медианы яркости окрестности согласно выражению Gi, j = med[Ei+ s, j +t ; (s, t) ÎW ]; i, j Î Z 2, (9) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива апертуры изо- бражения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Медианный фильтр и фильтр Гаусса не только удаляют шум, но и «размывают» мелкие детали изображений посредством удаления высоких частот, поэтому в качестве способа постобработки целесооб- разно для повышения резкости использовать фильтр Лапласа. Дискретный лапласиан определяется как сумма вторых производных, а вычисляется как ли- нейная аппроксимация суммы перепадов на соседних пикселах относительно центрального пиксела: [ f ( x + 1, y) + f ( x - 1, y) - 2 f ( x, y)] + освещенности использована система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов [16]. Дым как динамическая текстура обладает следующи- ми особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ рас- пространения. К основным признакам визуального обнаружения дыма можно отнести цвет, форму, дви- жение, текстуру, прозрачность. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких класси- фикаторов. Для детектирования дыма на видеоизоб- ражении в системе обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов используется комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний. Для проведения экспериментальных исследований использованы 5 видеопоследовательностей из извест- ных тестовых наборов данных [17-20] и одна видео- последовательность, снятая самостоятельно [21]. На видеопоследовательности, снятой самостоятельно, + [ f ( x, y + 1) + f ( x, y - 1) - 2 f ( x, y)] = = f ( x + 1, y) + f ( x - 1, y) + f ( x, y + 1) + + f ( x, y - 1) - 4 f ( x, y). (10) низкая освещенность была получена естественным образом. Для получения изображений, имитирующих условия недостаточной освещенности съемки, были последовательно применены гамма-коррекция (γ = 1,9), Таким образом, маска фильтра, используемого для реализации дискретного лапласиана, задается матри- цей (11): é0 1 0 ù а также изображения были зашумлены аддитивным гауссовым шумом (m = 0, σ2 = 0,2, 0,5) и импульсным шумом с плотностью ρ = 0,1, 0,2. Кадры использован- ных видеопоследовательностей, а также результат ê1 -4 1 ú. (11) компенсации низкой освещенности показаны в табл. 1. ê ú êë0 1 0úû Для повышения резкости изображения с помощью лапласиана необходимо вычесть из исходного изо- бражения лапласиан. Итоговая маска задается матри- цей (12): é 0 -1 0ù Результаты обнаружения дыма по видеопоследо- вательностям на открытых пространствах показаны в табл. 2. Результаты приведены для изображений, полученных при нормальной освещенности, в условиях шума (ночной съемки для самостоятельно полученной видеопоследовательности) и при компенсации влия- ния недостаточной освещенности. Оценивание вы- ê-1 5 -1 ú . (12) полнялось с помощью следующих характеристик: ê ú True Recognition (TR), % - точность распознавания, ëê 0 -1 0úû Таким образом, работа алгоритма компенсации пониженной освещенности выполняется следующим образом: 1. Расширение динамического диапазона видео- изображения и увеличение контрастности с помощью многомасштабного алгоритма «Ретинекс» с реставра- цией цвета (Multi Scale Retinex with Color Restoration). 2. Подавление аддитивного шума с использовани- ем фильтра Гаусса. 3. Подавление импульсного шума применением медианного фильтра. 4. Повышение резкости изображения с помощью фильтра Лапласа. Блок-схема алгоритма компенсации недостаточной освещенности показана на рисунке. Экспериментальные исследования. Для оценки качества работы алгоритма компенсации недостаточной False Rejection Rate (FRR), % - ошибка первого рода, False Acceptance Rate (FAR), % - ошибка второго рода. Точность обнаружения дыма в условиях недоста- точной освещенности по сравнению с исходным изо- бражением в среднем ниже на 28-30 %, при этом зна- чительно увеличивается число ошибок первого рода и число ложных срабатываний до 34,2 и 27,4 % соот- ветственно. На изображениях, улучшенных с помо- щью предложенного алгоритма компенсации недоста- точной освещенности, точность обнаружения сущест- венно возрастает и составляет 94,41 %, что ниже точ- ности обнаружения дыма относительно исходного изображения всего на 2,3 %. Таким образом, экспери- ментальные исследования подтверждают эффектив- ность предложенных методов и алгоритмов компен- сации недостаточной освещенности при анализе ди- намических текстур (на примере обнаружения дыма на видеопоследовательностях). 287 Блок-схема алгоритма компенсации низкой освещенности Flow chart of compensation algorithm of low light conditions Таблица 1 Примеры кадров использованных видеопоследовательностей Исходное изображение Зашумленное изображение Улучшенное изображение Video smoke detection / dry_leaf, кадр 1155 (URL: http://staff.ustc.edu.cn /~yfn/vsd.html), разрешение, пикселы: 320×240, количество кадров: 1,2000 Wildfilmsindia/ Smoke billows from the chimney of a brick factory, кадр 122 (URL: https://www.youtube.com/ watch?v=-TUbP5ENr8w), разрешение, пикселы: 1280×720, количество кадров: 1711 Youtube/firenight, кадр 48 (URL: https://www.youtube.com/watch?v=tmBG_ v23zbk&t=12s), разрешение, пикселы: 1280×720, количество кадров: 1330 Окончание табл. 1 Исходное изображение Зашумленное изображение Улучшенное изображение - Таблица 2 Результаты обнаружения дыма по видеопоследовательностям в различных условиях освещенности Видеопоследовательность Исходное изображение Зашумленное изображение Улучшенное изображение TR FRR FAR TR FRR FAR TR FRR FAR Video smoke detection / dry_leaf 100,0 0,00 2,07 74,12 25,88 17,21 97,98 2,02 4,12 Wildfilmsindia/ Smoke billows from the chimney of a brick factory 100,0 0,00 1,63 82,14 17,86 16,25 98,74 1,26 2,52 V-MOTE/DV_004 97,69 2,31 2,87 72,19 27,81 31,21 96,12 3,88 4,12 Bilkent/DumanTest5 90,65 8,25 7,14 53,11 46,89 30,28 88,41 11,59 10,0 Bilkent/SmokeManavgatRaw 96,88 1,53 14,2 52,14 47,86 40,42 94,32 5,68 15,2 Youtube/firenight - - - 61,21 38,79 29,12 90,88 9,12 4,01 Среднее значение 97,04 2,42 5,58 65,82 34,18 27,42 94,41 5,59 6,66 Заключение. В работе показано, что изображения, полученные в реальных условиях съемки при недос- таточном освещении, обладают ограниченным диапа- зоном малых значений яркостей, низкой контрастно- стью и наличием аддитивного шума. Для борьбы с влиянием недостаточной освещенности на качество изображения использован многомасштабный алго- ритм «Ретинекс» с цветовой коррекцией, применены фильтры Гаусса, Лапласа и медианный фильтр. Каче- ство обнаружения динамических текстур на видео- изображениях исследовано на примере дыма. Экспе- риментальные исследования подтверждают эффек- тивность предложенного алгоритма компенсации недостаточной освещенности.

作者简介

A. Pyataeva

Siberian Federal University, School of Space and Information Technology

Email: anna4u@list.ru
26, Kirensky Str., Krasnoyarsk, 660074, Russian Federation

Y. Kulikova

Siberian Federal University, School of Space and Information Technology

26, Kirensky Str., Krasnoyarsk, 660074, Russian Federation

参考

补充文件