ОБНАРУЖЕНИЕ ДИНАМИЧЕСКИХ ТЕКСТУР ПО ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯМ В УСЛОВИЯХ НЕДОСТАТОЧНОЙ ОСВЕЩЕННОСТИ


Цитировать

Полный текст

Аннотация

Обнаружение динамических текстур на видеоизображениях в настоящее время находит все более широкое применение как на городских территориях (в частности, на территориях аэродромов), так и на территориях природных парков, лесных массивов. Качество работы алгоритма поиска динамических текстур зависит от наличия шумов, вносимых сложными погодными условиями и недостаточной освещенностью. Для компенсации недостаточной освещенности и повышения качества темных видеоизображений необходимо расширить диапазон яркостей, увеличить среднюю яркость пикселов, повысить контраст и избавиться от аддитивного шума. Для имитации недостаточной освещенности к изображениям с нормальной освещенностью последова- тельно применена гамма-коррекция, добавлен аддитивный гауссов шум и импульсный шум. Компенсация недостаточной освещенности реализована с помощью многомасштабного алгоритма «Ретинекс» с рестав- рацией цвета, подавление аддитивного шума выполнено с использованием фильтра Гаусса, импульсный шум устраняется с применением медианного фильтра. Для повышения резкости использован фильтр Лапласа. Использованы видеопоследовательности из набора данных Билькентского университета, компании Wildfilm- sindia и др. Дополнительно репрезентативность тестового набора повышена самостоятельно снятой авто- рами в ночное время видеопоследовательностью. Экспериментальные исследования проведены на примере системы обнаружения дыма на основе локальных бинарных шаблонов. Точность обнаружения дыма в условиях недостаточной освещенности по сравнению с исходным изображением в среднем ниже на 28-30 %, при этом значительно увеличивается число ошибок первого рода и число ложных срабатываний до 34,2 и 27,4 % соот- ветственно. На изображениях, улучшенных с помощью предложенного алгоритма компенсации недостаточной освещенности, точность обнаружения существенно возрастает и составляет 94,41 %, что ниже точности обнаружения дыма относительно исходного изображения всего на 2,3 %. Таким образом, экспериментальные исследования подтверждают эффективность предложенных методов и алгоритмов анализа динамических текстур на примере обнаружения дыма на видеопоследовательностях.

Полный текст

Введение. Качество работы любого алгоритма компьютерного зрения падает вследствие наличия шумов, вносимых сложными погодными условиями, а также связанных с недостаточной освещенностью. Так, в работе [1] показано, что при наличии атмо- сферных осадков точность работы алгоритма верифи- кации областей задымления падает на 10-15 %. Время суток существенно влияет на особенности отображе- ния искомого объекта на видеопоследовательности. Уровень освещенности объектов на изображении является одним из основных аспектов, влияющих на качество работы алгоритмов компьютерного зрения, так как правильно различать предметы, например в сумерках при смене времени суток, бывает сложно даже человеку. Например, в работе [2] показано влия- ние времени суток на качество работы системы ви- деонаблюдения по обнаружению стоп-линий на регу- лируемых перекрестках, при этом количество ложных срабатываний зависело от полосы движения, времени суток, солнечной или пасмурной погоды, среднее количество ложных срабатываний варьировалось от 2 до 36 %. Для распознавания лиц при изменяющемся освещении предлагается алгоритм, основанный на представлении исходного изображения в виде мат- рицы изменения яркостей, что позволяет добиться устойчивости относительно изменений условий осве- щенности [3]. Снижение качества распознавания из-за изменений условий освещенности было описано в работах [4-9]. За последние годы было предложено множество алгоритмов по способам компенсации недостаточной освещенности, в которых можно выделить три основ- ных подхода [10]: 1. Методы, напрямую моделирующие освещение (построение конусов освещения). 2. Методы, основой которых является представле- ние изображения, нечувствительного к изменению освещенности (операторы Собеля, Робетса, Прюита, метод Канни, вейвлеты Габора). 3. Методы, нормализующие освещенность (методы фильтрации, устранение шумов, методы коррекции). Для компенсации недостаточной освещенности съемки в работе использованы методы повышения качества изображения, нормализующие освещенность. Особенности динамических текстур. Обнаруже- ние динамических текстур в настоящее время находит широкое применение в системах видеонаблюдения как на городских территориях, так и при наблюдении за природными объектами. Целями поиска динамиче- ских текстур на видеоизображениях могут являться экологический мониторинг, обеспечение безопасно- сти, контроль. К динамическим текстурам относят дым и пламя, воду, группу птиц, листья, облака, толпу людей и др. Динамическая текстура может рассмат- риваться как расширение статической текстуры, до- полнительно содержащей элементы движения. Дина- мические текстуры - очень широкий, но слабоизучен- ный тип текстур, который используется во многих задачах компьютерного зрения. Динамические тексту- ры могут иметь стохастическую и регулярную состав- ляющую [11]. К характеристикам динамических текстур можно отнести следующие [12]: - большое разнообразие форм; - пространственные и временные закономерности; - большой объем исходных данных; - малое количество предопределенных структур. Вероятностными особенностями динамических текстур являются размер, ориентация в пространстве, формы и расположение составных частей объекта на видеоизображении. Методы анализа динамических текстур зависят от искомого объекта и разделяются на следующие категории: 1. Методы, основанные на нахождении движения. Это наиболее популярная категория методов, так как движение - естественное свойство динамических текстур. 2. Пространственно-временная фильтрация и методы, основанные на преобразованиях. Эта группа методов описывает динамические текстуры в различных мас- штабах в пространстве и времени. К ней относятся, например, вейвлет-преобразования. 3. Методы, основанные на построении математиче- ских моделей, таких как генеративные (порождающие) модели (например, линейные динамические системы). Генеративные модели могут быть использованы для синтеза, сегментации и классификации. 4. Методы, основанные на геометрических пространственно-временных свойствах. Эта группа методов базируется на свойствах движущихся поверхностей. На основе характеристик поверхности возможно выявить особенности движения и опреде- лить внешний вид исследуемой текстуры. Для обнаружения динамических текстур часто ис- пользуется анализ беспорядка областей. Сложность вариаций контура может быть оценена с помощью фрактальной размерности. Например, фрактальная размерность, описывающая стохастическое поведение каждого набора пикселов, может быть оценена с помощью четырех мер: интенсивности пиксела µI, выражение (1), временного градиента яркости µB, выражение (2), нормального потока µF, выражение (3) и лапласиана µL, выражение (4) [13]: фильтр и др. В работе использован многомасштабный алгоритм «Ретинекс» (Multi Scale Retinex) [14]. МногоmI ( p0 ,t0 ) = òò B( p0 ,t0 ,rs ,rt ) I ( p,t)dpdt, (1) масштабный алгоритм «Ретинекс» основан на понятии цветопостоянства и представляется уравнением где I(p, t) - значение интенсивности пиксела p в видеопоследовательности изображений градации серо- го, t = 1, 2, …, N; выражение B(p , t , r , r ) определяет Ri (x, y) = C(x, y) ´ Подпись: N ´åW i (log[Ii (x, y)] - log[Ii (x,y) × F (x, y)]). (5) 0 0 s t i=1 3D-куб с центром в точке (p0, t0), с пространственным радиусом rs и временным радиусом rt. Таким образом, определяемая по выражению (1) мера mI ( p0 ,t0 ) пока- зывает общую интенсивность в пространственно- временной области для соседей точки (p0, t0). Времен- ной градиент яркости рассчитывается следующим образом: Для подавления шума на изображениях, как пра- вило, применяют низкочастотные фильтры. К таким фильтрам относятся линейные усредняющие, нели- нейные усредняющие, ранговые, полиномиальные. Наиболее эффективными фильтрами устранения аддитивного шума являются линейные усредняющие фильтры [15], основанные на операции линейной mB ( p0 , t0 ) = ¶I ( p, t)dp, ò ¶t (2) свертки, вычисляемой согласно формуле (m-1)/ 2 (n-1)/ 2 B( p0 ,t0 ,rs ) где B(p0, t0, rs) - пространственный квадрат с центром Gi, j = å å s=(m-1)/ 2 t =(t -1)/ 2 Ws,t ×E(i+s),( j +t ) , (6) в точке (p0, t0), с пространственным радиусом rs (та- ким же, как и у меры µI). Эта мера показывает изме- нение суммарной временной интенсивности динами- ческой текстуры вокруг точки (p0, t0). Для вычисления нормального потока используется формула (3), пока- зывающая измерение перемещения пикселов вдоль направления, перпендикулярного градиенту яркости: ¶I ( p, t) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива ядра свертки изображения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Основными моделями аддитивного шума являют- ся шум Гаусса, Релея, Эрланга, экспоненциальный, белый и шум квантования. Шум Гаусса, или нормаль- ный шум, образуется в собственных электрических mF ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) ¶tdp. ÑI ( p) (3) цепях цифровых аппаратов и в фотосенсорах при недостаточной освещенности и сильных перепадах температур. Для устранения такого шума использует- Лапласиан, также используемый в качестве меры для динамического фрактального анализа, рассчиты- вается по формуле ся фильтр Гаусса, характерный фильтр размытия изо- бражения, который использует нормальное распреде- ление для вычисления преобразования, применяемого mL ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) DI ( p, t)dp. (4) к каждому пикселу изображения. Распределения Гаус- са в N измерениях имеет вид В работе качество работы алгоритма компенсации недостаточной освещенности исследовано на примере G(r) = 1 (2ps2)N /2 e-r2 /(2s2 ) , (7) сложной динамической текстуры - дыма. В настоящие время задача детектирования дыма на видеопоследоили, в частном случае, для двух измерений: e , вательности является актуальной вследствие сложно- сти объекта исследования - произвольных форм, G(u, v) = 1 2ps2 -(u2 +v2 )/(2s2 ) (8) динамических и фрактальных свойств, вариаций внутри класса, а также из-за возникающих шумов на изображениях. Компенсация условий недостаточной освещен- ности. Изображения, полученные при съемке в ночное время, как правило, обладают следующими особенно- стями [10]: - ограниченный диапазон малых значений яркостей; - низкая контрастность; - присутствие аддитивного шума. Следовательно, для компенсации недостаточной освещенности и повышения качества темных изобра- жений необходимо расширить диапазон яркостей, увеличить среднюю яркость пикселов изображений, повысить контраст и избавиться от аддитивного шума. Для компенсации недостаточной освещенности могут быть использованы методы гистограммной коррекции и усовершенствованные его формы (AHE, CLAHE, MAHE), спецификация, гомоморфный где r - это радиус размытия, r2 = u2 + v2; σ - стандарт- ное отклонение распределения Гаусса. В случае двух измерений эта формула задает поверхность, имею- щую вид концентрических окружностей с распреде- лением Гаусса от центральной точки. Пикселы, где распределение отлично от нуля, используются для построения матрицы свертки, которая применяется к исходному изображению. Значение каждого пиксела становится средневзвешенным для окрестности. Исходное значение пиксела принимает наибольший вес (имеет наивысшее гауссово значение), и соседние пикселы принимают меньшие веса в зависимости от расстояния до них. Импульсный шум возникает в результате ошибок декодирования, в процессе передачи фото- и видео- изображений вследствие электромагнитных наводок на канал передачи, а также в результате ошибок записи на устройствах хранения. Он характеризуется появле- нием случайных белых и черных точек. Наиболее эффективными фильтрами для подавления импульс- ного шума являются усредняющие фильтры, а имен- но, медианная фильтрация, которая позволяет сохра- нить четкость деталей изображения. Медианные фильтры основаны на том, чтобы избавиться от резко отличающихся от других значений яркости пикселов, заменяя их значениями медианы яркости окрестности согласно выражению Gi, j = med[Ei+ s, j +t ; (s, t) ÎW ]; i, j Î Z 2, (9) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива апертуры изо- бражения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Медианный фильтр и фильтр Гаусса не только удаляют шум, но и «размывают» мелкие детали изображений посредством удаления высоких частот, поэтому в качестве способа постобработки целесооб- разно для повышения резкости использовать фильтр Лапласа. Дискретный лапласиан определяется как сумма вторых производных, а вычисляется как ли- нейная аппроксимация суммы перепадов на соседних пикселах относительно центрального пиксела: [ f ( x + 1, y) + f ( x - 1, y) - 2 f ( x, y)] + освещенности использована система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов [16]. Дым как динамическая текстура обладает следующи- ми особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ рас- пространения. К основным признакам визуального обнаружения дыма можно отнести цвет, форму, дви- жение, текстуру, прозрачность. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких класси- фикаторов. Для детектирования дыма на видеоизоб- ражении в системе обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов используется комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний. Для проведения экспериментальных исследований использованы 5 видеопоследовательностей из извест- ных тестовых наборов данных [17-20] и одна видео- последовательность, снятая самостоятельно [21]. На видеопоследовательности, снятой самостоятельно, + [ f ( x, y + 1) + f ( x, y - 1) - 2 f ( x, y)] = = f ( x + 1, y) + f ( x - 1, y) + f ( x, y + 1) + + f ( x, y - 1) - 4 f ( x, y). (10) низкая освещенность была получена естественным образом. Для получения изображений, имитирующих условия недостаточной освещенности съемки, были последовательно применены гамма-коррекция (γ = 1,9), Таким образом, маска фильтра, используемого для реализации дискретного лапласиана, задается матри- цей (11): é0 1 0 ù а также изображения были зашумлены аддитивным гауссовым шумом (m = 0, σ2 = 0,2, 0,5) и импульсным шумом с плотностью ρ = 0,1, 0,2. Кадры использован- ных видеопоследовательностей, а также результат ê1 -4 1 ú. (11) компенсации низкой освещенности показаны в табл. 1. ê ú êë0 1 0úû Для повышения резкости изображения с помощью лапласиана необходимо вычесть из исходного изо- бражения лапласиан. Итоговая маска задается матри- цей (12): é 0 -1 0ù Результаты обнаружения дыма по видеопоследо- вательностям на открытых пространствах показаны в табл. 2. Результаты приведены для изображений, полученных при нормальной освещенности, в условиях шума (ночной съемки для самостоятельно полученной видеопоследовательности) и при компенсации влия- ния недостаточной освещенности. Оценивание вы- ê-1 5 -1 ú . (12) полнялось с помощью следующих характеристик: ê ú True Recognition (TR), % - точность распознавания, ëê 0 -1 0úû Таким образом, работа алгоритма компенсации пониженной освещенности выполняется следующим образом: 1. Расширение динамического диапазона видео- изображения и увеличение контрастности с помощью многомасштабного алгоритма «Ретинекс» с реставра- цией цвета (Multi Scale Retinex with Color Restoration). 2. Подавление аддитивного шума с использовани- ем фильтра Гаусса. 3. Подавление импульсного шума применением медианного фильтра. 4. Повышение резкости изображения с помощью фильтра Лапласа. Блок-схема алгоритма компенсации недостаточной освещенности показана на рисунке. Экспериментальные исследования. Для оценки качества работы алгоритма компенсации недостаточной False Rejection Rate (FRR), % - ошибка первого рода, False Acceptance Rate (FAR), % - ошибка второго рода. Точность обнаружения дыма в условиях недоста- точной освещенности по сравнению с исходным изо- бражением в среднем ниже на 28-30 %, при этом зна- чительно увеличивается число ошибок первого рода и число ложных срабатываний до 34,2 и 27,4 % соот- ветственно. На изображениях, улучшенных с помо- щью предложенного алгоритма компенсации недоста- точной освещенности, точность обнаружения сущест- венно возрастает и составляет 94,41 %, что ниже точ- ности обнаружения дыма относительно исходного изображения всего на 2,3 %. Таким образом, экспери- ментальные исследования подтверждают эффектив- ность предложенных методов и алгоритмов компен- сации недостаточной освещенности при анализе ди- намических текстур (на примере обнаружения дыма на видеопоследовательностях). 287 Блок-схема алгоритма компенсации низкой освещенности Flow chart of compensation algorithm of low light conditions Таблица 1 Примеры кадров использованных видеопоследовательностей Исходное изображение Зашумленное изображение Улучшенное изображение Video smoke detection / dry_leaf, кадр 1155 (URL: http://staff.ustc.edu.cn /~yfn/vsd.html), разрешение, пикселы: 320×240, количество кадров: 1,2000 Wildfilmsindia/ Smoke billows from the chimney of a brick factory, кадр 122 (URL: https://www.youtube.com/ watch?v=-TUbP5ENr8w), разрешение, пикселы: 1280×720, количество кадров: 1711 Youtube/firenight, кадр 48 (URL: https://www.youtube.com/watch?v=tmBG_ v23zbk&t=12s), разрешение, пикселы: 1280×720, количество кадров: 1330 Окончание табл. 1 Исходное изображение Зашумленное изображение Улучшенное изображение - Таблица 2 Результаты обнаружения дыма по видеопоследовательностям в различных условиях освещенности Видеопоследовательность Исходное изображение Зашумленное изображение Улучшенное изображение TR FRR FAR TR FRR FAR TR FRR FAR Video smoke detection / dry_leaf 100,0 0,00 2,07 74,12 25,88 17,21 97,98 2,02 4,12 Wildfilmsindia/ Smoke billows from the chimney of a brick factory 100,0 0,00 1,63 82,14 17,86 16,25 98,74 1,26 2,52 V-MOTE/DV_004 97,69 2,31 2,87 72,19 27,81 31,21 96,12 3,88 4,12 Bilkent/DumanTest5 90,65 8,25 7,14 53,11 46,89 30,28 88,41 11,59 10,0 Bilkent/SmokeManavgatRaw 96,88 1,53 14,2 52,14 47,86 40,42 94,32 5,68 15,2 Youtube/firenight - - - 61,21 38,79 29,12 90,88 9,12 4,01 Среднее значение 97,04 2,42 5,58 65,82 34,18 27,42 94,41 5,59 6,66 Заключение. В работе показано, что изображения, полученные в реальных условиях съемки при недос- таточном освещении, обладают ограниченным диапа- зоном малых значений яркостей, низкой контрастно- стью и наличием аддитивного шума. Для борьбы с влиянием недостаточной освещенности на качество изображения использован многомасштабный алго- ритм «Ретинекс» с цветовой коррекцией, применены фильтры Гаусса, Лапласа и медианный фильтр. Каче- ство обнаружения динамических текстур на видео- изображениях исследовано на примере дыма. Экспе- риментальные исследования подтверждают эффек- тивность предложенного алгоритма компенсации недостаточной освещенности.
×

Об авторах

А. В. Пятаева

Сибирский федеральный университет, Институт космических и информационных технологий

Email: anna4u@list.ru
Российская Федерация, 660074, г. Красноярск, ул. Киренского, 26

Ю. Д. Куликова

Сибирский федеральный университет, Институт космических и информационных технологий

Российская Федерация, 660074, г. Красноярск, ул. Киренского, 26

Список литературы

  1. 1. Фаворская М. Н., Пятаева, А. В. Детектирование дыма на открытых пространствах в сложных погод- ных условиях с применением пространственно- временных локальных бинарных шаблонов // Инфор- мационно-управляющие системы. 2016. № 1 (80). С. 16-25.
  2. 2. Madhav V. Chitturi, Juan C. Medina, Rahim (Ray) F. Benekohal. Effect of Shadows and Time of Day on Performance of Video Detection Systems at Signalized Intersections // Transportation Research. Part C: Emerging Technologies. 2010. Vol. 18, iss. 2. P. 176-186.
  3. 3. Гончаров А. В., Каракищенко А. Н. Влияние освещенности на качество распознавания фронталь- ных лиц // Известия ЮФУ. Технические науки. 2008. № 4. С. 88-92.
  4. 4. Adnin Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. Vol. 19, No. 7. P. 712-732.
  5. 5. Ramamoorthi R. Analytic PCA Construction for Theoretical Analysis of Lighting Variability in Images of a Lambertian Object // IEEE Transactions on Pattern Analysis and Machine Intelligenc. 2002. Vol. 24, No. 10. P. 10-21.
  6. 6. Riklin-Raviv T., Shashua A. The Quotient image: Class based recognition and synthesis under varying illu- mination // Proceedings of the 1999 Conference on Com- puter Vision and Pattern Recognition. 1999. P. 566-571.
  7. 7. Georghiades A. S., Belhumeur P. N. Illumination cone models for Faces recognition under variable lighting and Pose // IEEE Trans. Pattern Anal. Mach. Intelligence. 1998. No. 23(6). P. 643-660.
  8. 8. Shashua A., Riklin-Raviv T. The quotient image: Class-based re-rendering and recognition with varying illuminations // Transactions on Pattern Analysis and Machine Intelligence. 2001. Vol. 23, No. 2. P. 129-139.
  9. 9. Faraji M. R., Qi X. Face recognition under varying illuminations using logarithmic fractal dimension-based complete eight local directional patterns // Neurocomputing. 2016. Vol. 99. P. 16-30.
  10. 10. Analysis and Modeling of Faces and Gestures / S. K. Zhou [et al.] // Proc. of the Third International Workshop, AMFG. 2007. Vol. 2688. P. 10-18.
  11. 11. Goncalves W. N., Machado B. B., Bruno O. M. A complex network approach for dynamic texture recog- nition // Neurocomputing. 2015. Vol. 153. P. 211-220.
  12. 12. A survey on visual 316 content-based video in- dexing and retrieval / W. Hu [et al.] // IEEE Transactions on Systems, Man, and Cybernetics. 2011. P. C 41 (6). Pp. 797-819.
  13. 13. Dynamic Texture Classification Using Dynamic Fractal Analysis / Y. Xu [et al.] // 2011 International Con- ference on Computer Vision. Barcelona, Spain, 2011. P. 1219-1226.
  14. 14. Lin H., Shi Z. Multi-scale retinex improvement for nighttime image enhancement // Optik - International Journal for Light and Electron Optics. 2014. Vol. 125, iss. 24. P. 7143-7148.
  15. 15. Хрящев Д. А. Об одном методе анализа циф- рового изображения с применением гистограмм // Вестник Астраханского государственного техниче- ского университета. Сер. «Управление, вычислитель- ная техника и информатика». 2010. № 1. C. 109-113.
  16. 16. Система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов (DKL 3.15) : свид. о гос. регист- рации программы для ЭВМ / А. В. Пятаева, М. Н. Фаворская. № 2015615904. Зарегистрировано в Реестре программ для ЭВМ 27.05.2015.
  17. 17. Video smoke detection [Электронный ресурс]. URL: http://staff.ustc.edu.cn/~yfn/vsd.html (дата обраще- ния: 01.04.2017).
  18. 18. Database of Wildfilmsindia [Электронный ресурс]. URL: www wildfilmsindia com (дата обраще- ния: 01.04.2017).
  19. 19. V-MOTE Database [Электронный ресурс]. URL: http://www2.imse-cnm.csic.es/vmote/english_version/ index.php (дата обращения: 01.04.2017).
  20. 20. Database of Bilkent University [Электронный ресурс]. URL: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/ (дата обращения: 01.04.2017).
  21. 21. Видеопоследовательность, снятая самостоятель- но [Электронный ресурс]. URL: https://www.youtube. com/watch?v=tmBG_ v23zbk&t=12s (дата обращения: 01.04.2017).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Пятаева А.В., Куликова Ю.Д., 2017

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.