VIDEO BASED DYNAMIC TEXTURE RECOGNITION UNDER SPECIFIC ILLUMINATION CONDITIONS
- Authors: Pyataeva A.V.1, Kulikova Y.D.1
-
Affiliations:
- Siberian Federal University, School of Space and Information Technology
- Issue: Vol 18, No 2 (2017)
- Pages: 283-289
- Section: Articles
- URL: https://journals.eco-vector.com/2712-8970/article/view/503305
- ID: 503305
Cite item
Full Text
Abstract
Nowadays dynamic textures recognition is particularly important in different computer vision community tasks in a variety of fields such as urban scenes and forest scenes. The goal of the dynamic textures recognition can be different. Real scenes may include the objects with dynamic behavior because of possible varying illumination, blurring, or weather conditions. Under bad weather conditions the imaging system is degraded to produce low visibility images. Such effects may significantly degrade the performance of outdoor vision systems which relies on image/video. For illumination effects compensation and visual quality enhancement images it is necessary to average pixel intensity increase, expand the range of brightness, image contrast increase and eliminate influence of the additive noise. For the images obtained in adverse lighting conditions imitation in this work Gamma correction, additive Gaussian noise and impulse noise was applied successively. The proposed algorithm employs Multi Scale Retinex with Color Restoration, Laplacian, Gaussian and median filters. For experimental researches of the databases of Bilkent University, Video Smoke Detection, Wildfilmsindia, V-MOTE were used. In addition, the representativeness of the test set is increased by a video sequence, which the authors themselves recorded at night. Experiments on video based smoke detection system based on spatio-temporal local binary pattern were computed. True recognition for smoke in adverse lighting conditions is degraded to 65 %. False rare rejection and false alert errors significantly increase to 34.2 % and 27.2 % respectively. After adverse lighting compensation algorithm work true recognition of smoke regions increases to 94.41 %. This accuracy provides the influence of adverse lighting on a quality of smoke detection is studied. Experimental results show that the proposed method is feasible and effective for video-based dynamic texture analysis in varying illumina- tion conditions
Keywords
Full Text
Введение. Качество работы любого алгоритма компьютерного зрения падает вследствие наличия шумов, вносимых сложными погодными условиями, а также связанных с недостаточной освещенностью. Так, в работе [1] показано, что при наличии атмо- сферных осадков точность работы алгоритма верифи- кации областей задымления падает на 10-15 %. Время суток существенно влияет на особенности отображе- ния искомого объекта на видеопоследовательности. Уровень освещенности объектов на изображении является одним из основных аспектов, влияющих на качество работы алгоритмов компьютерного зрения, так как правильно различать предметы, например в сумерках при смене времени суток, бывает сложно даже человеку. Например, в работе [2] показано влия- ние времени суток на качество работы системы ви- деонаблюдения по обнаружению стоп-линий на регу- лируемых перекрестках, при этом количество ложных срабатываний зависело от полосы движения, времени суток, солнечной или пасмурной погоды, среднее количество ложных срабатываний варьировалось от 2 до 36 %. Для распознавания лиц при изменяющемся освещении предлагается алгоритм, основанный на представлении исходного изображения в виде мат- рицы изменения яркостей, что позволяет добиться устойчивости относительно изменений условий осве- щенности [3]. Снижение качества распознавания из-за изменений условий освещенности было описано в работах [4-9]. За последние годы было предложено множество алгоритмов по способам компенсации недостаточной освещенности, в которых можно выделить три основ- ных подхода [10]: 1. Методы, напрямую моделирующие освещение (построение конусов освещения). 2. Методы, основой которых является представле- ние изображения, нечувствительного к изменению освещенности (операторы Собеля, Робетса, Прюита, метод Канни, вейвлеты Габора). 3. Методы, нормализующие освещенность (методы фильтрации, устранение шумов, методы коррекции). Для компенсации недостаточной освещенности съемки в работе использованы методы повышения качества изображения, нормализующие освещенность. Особенности динамических текстур. Обнаруже- ние динамических текстур в настоящее время находит широкое применение в системах видеонаблюдения как на городских территориях, так и при наблюдении за природными объектами. Целями поиска динамиче- ских текстур на видеоизображениях могут являться экологический мониторинг, обеспечение безопасно- сти, контроль. К динамическим текстурам относят дым и пламя, воду, группу птиц, листья, облака, толпу людей и др. Динамическая текстура может рассмат- риваться как расширение статической текстуры, до- полнительно содержащей элементы движения. Дина- мические текстуры - очень широкий, но слабоизучен- ный тип текстур, который используется во многих задачах компьютерного зрения. Динамические тексту- ры могут иметь стохастическую и регулярную состав- ляющую [11]. К характеристикам динамических текстур можно отнести следующие [12]: - большое разнообразие форм; - пространственные и временные закономерности; - большой объем исходных данных; - малое количество предопределенных структур. Вероятностными особенностями динамических текстур являются размер, ориентация в пространстве, формы и расположение составных частей объекта на видеоизображении. Методы анализа динамических текстур зависят от искомого объекта и разделяются на следующие категории: 1. Методы, основанные на нахождении движения. Это наиболее популярная категория методов, так как движение - естественное свойство динамических текстур. 2. Пространственно-временная фильтрация и методы, основанные на преобразованиях. Эта группа методов описывает динамические текстуры в различных мас- штабах в пространстве и времени. К ней относятся, например, вейвлет-преобразования. 3. Методы, основанные на построении математиче- ских моделей, таких как генеративные (порождающие) модели (например, линейные динамические системы). Генеративные модели могут быть использованы для синтеза, сегментации и классификации. 4. Методы, основанные на геометрических пространственно-временных свойствах. Эта группа методов базируется на свойствах движущихся поверхностей. На основе характеристик поверхности возможно выявить особенности движения и опреде- лить внешний вид исследуемой текстуры. Для обнаружения динамических текстур часто ис- пользуется анализ беспорядка областей. Сложность вариаций контура может быть оценена с помощью фрактальной размерности. Например, фрактальная размерность, описывающая стохастическое поведение каждого набора пикселов, может быть оценена с помощью четырех мер: интенсивности пиксела µI, выражение (1), временного градиента яркости µB, выражение (2), нормального потока µF, выражение (3) и лапласиана µL, выражение (4) [13]: фильтр и др. В работе использован многомасштабный алгоритм «Ретинекс» (Multi Scale Retinex) [14]. МногоmI ( p0 ,t0 ) = òò B( p0 ,t0 ,rs ,rt ) I ( p,t)dpdt, (1) масштабный алгоритм «Ретинекс» основан на понятии цветопостоянства и представляется уравнением где I(p, t) - значение интенсивности пиксела p в видеопоследовательности изображений градации серо- го, t = 1, 2, …, N; выражение B(p , t , r , r ) определяет Ri (x, y) = C(x, y) ´ Подпись: N ´åW i (log[Ii (x, y)] - log[Ii (x,y) × F (x, y)]). (5) 0 0 s t i=1 3D-куб с центром в точке (p0, t0), с пространственным радиусом rs и временным радиусом rt. Таким образом, определяемая по выражению (1) мера mI ( p0 ,t0 ) пока- зывает общую интенсивность в пространственно- временной области для соседей точки (p0, t0). Времен- ной градиент яркости рассчитывается следующим образом: Для подавления шума на изображениях, как пра- вило, применяют низкочастотные фильтры. К таким фильтрам относятся линейные усредняющие, нели- нейные усредняющие, ранговые, полиномиальные. Наиболее эффективными фильтрами устранения аддитивного шума являются линейные усредняющие фильтры [15], основанные на операции линейной mB ( p0 , t0 ) = ¶I ( p, t)dp, ò ¶t (2) свертки, вычисляемой согласно формуле (m-1)/ 2 (n-1)/ 2 B( p0 ,t0 ,rs ) где B(p0, t0, rs) - пространственный квадрат с центром Gi, j = å å s=(m-1)/ 2 t =(t -1)/ 2 Ws,t ×E(i+s),( j +t ) , (6) в точке (p0, t0), с пространственным радиусом rs (та- ким же, как и у меры µI). Эта мера показывает изме- нение суммарной временной интенсивности динами- ческой текстуры вокруг точки (p0, t0). Для вычисления нормального потока используется формула (3), пока- зывающая измерение перемещения пикселов вдоль направления, перпендикулярного градиенту яркости: ¶I ( p, t) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива ядра свертки изображения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Основными моделями аддитивного шума являют- ся шум Гаусса, Релея, Эрланга, экспоненциальный, белый и шум квантования. Шум Гаусса, или нормаль- ный шум, образуется в собственных электрических mF ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) ¶tdp. ÑI ( p) (3) цепях цифровых аппаратов и в фотосенсорах при недостаточной освещенности и сильных перепадах температур. Для устранения такого шума использует- Лапласиан, также используемый в качестве меры для динамического фрактального анализа, рассчиты- вается по формуле ся фильтр Гаусса, характерный фильтр размытия изо- бражения, который использует нормальное распреде- ление для вычисления преобразования, применяемого mL ( p0 , t0 ) = ò B( p0 ,t0 ,rs ) DI ( p, t)dp. (4) к каждому пикселу изображения. Распределения Гаус- са в N измерениях имеет вид В работе качество работы алгоритма компенсации недостаточной освещенности исследовано на примере G(r) = 1 (2ps2)N /2 e-r2 /(2s2 ) , (7) сложной динамической текстуры - дыма. В настоящие время задача детектирования дыма на видеопоследоили, в частном случае, для двух измерений: e , вательности является актуальной вследствие сложно- сти объекта исследования - произвольных форм, G(u, v) = 1 2ps2 -(u2 +v2 )/(2s2 ) (8) динамических и фрактальных свойств, вариаций внутри класса, а также из-за возникающих шумов на изображениях. Компенсация условий недостаточной освещен- ности. Изображения, полученные при съемке в ночное время, как правило, обладают следующими особенно- стями [10]: - ограниченный диапазон малых значений яркостей; - низкая контрастность; - присутствие аддитивного шума. Следовательно, для компенсации недостаточной освещенности и повышения качества темных изобра- жений необходимо расширить диапазон яркостей, увеличить среднюю яркость пикселов изображений, повысить контраст и избавиться от аддитивного шума. Для компенсации недостаточной освещенности могут быть использованы методы гистограммной коррекции и усовершенствованные его формы (AHE, CLAHE, MAHE), спецификация, гомоморфный где r - это радиус размытия, r2 = u2 + v2; σ - стандарт- ное отклонение распределения Гаусса. В случае двух измерений эта формула задает поверхность, имею- щую вид концентрических окружностей с распреде- лением Гаусса от центральной точки. Пикселы, где распределение отлично от нуля, используются для построения матрицы свертки, которая применяется к исходному изображению. Значение каждого пиксела становится средневзвешенным для окрестности. Исходное значение пиксела принимает наибольший вес (имеет наивысшее гауссово значение), и соседние пикселы принимают меньшие веса в зависимости от расстояния до них. Импульсный шум возникает в результате ошибок декодирования, в процессе передачи фото- и видео- изображений вследствие электромагнитных наводок на канал передачи, а также в результате ошибок записи на устройствах хранения. Он характеризуется появле- нием случайных белых и черных точек. Наиболее эффективными фильтрами для подавления импульс- ного шума являются усредняющие фильтры, а имен- но, медианная фильтрация, которая позволяет сохра- нить четкость деталей изображения. Медианные фильтры основаны на том, чтобы избавиться от резко отличающихся от других значений яркости пикселов, заменяя их значениями медианы яркости окрестности согласно выражению Gi, j = med[Ei+ s, j +t ; (s, t) ÎW ]; i, j Î Z 2, (9) где [Gi,j] - элемент матрицы изображения после фильтрации; [Ws,t] - элемент массива апертуры изо- бражения, имеющий размеры m×n; [Ei,j] - элемент матрицы исходного изображения. Медианный фильтр и фильтр Гаусса не только удаляют шум, но и «размывают» мелкие детали изображений посредством удаления высоких частот, поэтому в качестве способа постобработки целесооб- разно для повышения резкости использовать фильтр Лапласа. Дискретный лапласиан определяется как сумма вторых производных, а вычисляется как ли- нейная аппроксимация суммы перепадов на соседних пикселах относительно центрального пиксела: [ f ( x + 1, y) + f ( x - 1, y) - 2 f ( x, y)] + освещенности использована система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов [16]. Дым как динамическая текстура обладает следующи- ми особенностями: турбулентность, изменчивость, цветовые особенности, специфический способ рас- пространения. К основным признакам визуального обнаружения дыма можно отнести цвет, форму, дви- жение, текстуру, прозрачность. Как правило, для детектирования дыма не используют только один признак, а применяют сочетание нескольких класси- фикаторов. Для детектирования дыма на видеоизоб- ражении в системе обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов используется комбинированный способ распознавания дыма, позволяющий не только выделить движение на видеопоследовательности, но и учесть пространственно-временные свойства дыма, что увеличивает точность детектирования и уменьшает число ложных срабатываний. Для проведения экспериментальных исследований использованы 5 видеопоследовательностей из извест- ных тестовых наборов данных [17-20] и одна видео- последовательность, снятая самостоятельно [21]. На видеопоследовательности, снятой самостоятельно, + [ f ( x, y + 1) + f ( x, y - 1) - 2 f ( x, y)] = = f ( x + 1, y) + f ( x - 1, y) + f ( x, y + 1) + + f ( x, y - 1) - 4 f ( x, y). (10) низкая освещенность была получена естественным образом. Для получения изображений, имитирующих условия недостаточной освещенности съемки, были последовательно применены гамма-коррекция (γ = 1,9), Таким образом, маска фильтра, используемого для реализации дискретного лапласиана, задается матри- цей (11): é0 1 0 ù а также изображения были зашумлены аддитивным гауссовым шумом (m = 0, σ2 = 0,2, 0,5) и импульсным шумом с плотностью ρ = 0,1, 0,2. Кадры использован- ных видеопоследовательностей, а также результат ê1 -4 1 ú. (11) компенсации низкой освещенности показаны в табл. 1. ê ú êë0 1 0úû Для повышения резкости изображения с помощью лапласиана необходимо вычесть из исходного изо- бражения лапласиан. Итоговая маска задается матри- цей (12): é 0 -1 0ù Результаты обнаружения дыма по видеопоследо- вательностям на открытых пространствах показаны в табл. 2. Результаты приведены для изображений, полученных при нормальной освещенности, в условиях шума (ночной съемки для самостоятельно полученной видеопоследовательности) и при компенсации влия- ния недостаточной освещенности. Оценивание вы- ê-1 5 -1 ú . (12) полнялось с помощью следующих характеристик: ê ú True Recognition (TR), % - точность распознавания, ëê 0 -1 0úû Таким образом, работа алгоритма компенсации пониженной освещенности выполняется следующим образом: 1. Расширение динамического диапазона видео- изображения и увеличение контрастности с помощью многомасштабного алгоритма «Ретинекс» с реставра- цией цвета (Multi Scale Retinex with Color Restoration). 2. Подавление аддитивного шума с использовани- ем фильтра Гаусса. 3. Подавление импульсного шума применением медианного фильтра. 4. Повышение резкости изображения с помощью фильтра Лапласа. Блок-схема алгоритма компенсации недостаточной освещенности показана на рисунке. Экспериментальные исследования. Для оценки качества работы алгоритма компенсации недостаточной False Rejection Rate (FRR), % - ошибка первого рода, False Acceptance Rate (FAR), % - ошибка второго рода. Точность обнаружения дыма в условиях недоста- точной освещенности по сравнению с исходным изо- бражением в среднем ниже на 28-30 %, при этом зна- чительно увеличивается число ошибок первого рода и число ложных срабатываний до 34,2 и 27,4 % соот- ветственно. На изображениях, улучшенных с помо- щью предложенного алгоритма компенсации недоста- точной освещенности, точность обнаружения сущест- венно возрастает и составляет 94,41 %, что ниже точ- ности обнаружения дыма относительно исходного изображения всего на 2,3 %. Таким образом, экспери- ментальные исследования подтверждают эффектив- ность предложенных методов и алгоритмов компен- сации недостаточной освещенности при анализе ди- намических текстур (на примере обнаружения дыма на видеопоследовательностях). 287 Блок-схема алгоритма компенсации низкой освещенности Flow chart of compensation algorithm of low light conditions Таблица 1 Примеры кадров использованных видеопоследовательностей Исходное изображение Зашумленное изображение Улучшенное изображение Video smoke detection / dry_leaf, кадр 1155 (URL: http://staff.ustc.edu.cn /~yfn/vsd.html), разрешение, пикселы: 320×240, количество кадров: 1,2000 Wildfilmsindia/ Smoke billows from the chimney of a brick factory, кадр 122 (URL: https://www.youtube.com/ watch?v=-TUbP5ENr8w), разрешение, пикселы: 1280×720, количество кадров: 1711 Youtube/firenight, кадр 48 (URL: https://www.youtube.com/watch?v=tmBG_ v23zbk&t=12s), разрешение, пикселы: 1280×720, количество кадров: 1330 Окончание табл. 1 Исходное изображение Зашумленное изображение Улучшенное изображение - Таблица 2 Результаты обнаружения дыма по видеопоследовательностям в различных условиях освещенности Видеопоследовательность Исходное изображение Зашумленное изображение Улучшенное изображение TR FRR FAR TR FRR FAR TR FRR FAR Video smoke detection / dry_leaf 100,0 0,00 2,07 74,12 25,88 17,21 97,98 2,02 4,12 Wildfilmsindia/ Smoke billows from the chimney of a brick factory 100,0 0,00 1,63 82,14 17,86 16,25 98,74 1,26 2,52 V-MOTE/DV_004 97,69 2,31 2,87 72,19 27,81 31,21 96,12 3,88 4,12 Bilkent/DumanTest5 90,65 8,25 7,14 53,11 46,89 30,28 88,41 11,59 10,0 Bilkent/SmokeManavgatRaw 96,88 1,53 14,2 52,14 47,86 40,42 94,32 5,68 15,2 Youtube/firenight - - - 61,21 38,79 29,12 90,88 9,12 4,01 Среднее значение 97,04 2,42 5,58 65,82 34,18 27,42 94,41 5,59 6,66 Заключение. В работе показано, что изображения, полученные в реальных условиях съемки при недос- таточном освещении, обладают ограниченным диапа- зоном малых значений яркостей, низкой контрастно- стью и наличием аддитивного шума. Для борьбы с влиянием недостаточной освещенности на качество изображения использован многомасштабный алго- ритм «Ретинекс» с цветовой коррекцией, применены фильтры Гаусса, Лапласа и медианный фильтр. Каче- ство обнаружения динамических текстур на видео- изображениях исследовано на примере дыма. Экспе- риментальные исследования подтверждают эффек- тивность предложенного алгоритма компенсации недостаточной освещенности.×
About the authors
A. V. Pyataeva
Siberian Federal University, School of Space and Information Technology
Email: anna4u@list.ru
26, Kirensky Str., Krasnoyarsk, 660074, Russian Federation
Y. D. Kulikova
Siberian Federal University, School of Space and Information Technology26, Kirensky Str., Krasnoyarsk, 660074, Russian Federation
References
- Фаворская М. Н., Пятаева, А. В. Детектирование дыма на открытых пространствах в сложных погод- ных условиях с применением пространственно- временных локальных бинарных шаблонов // Инфор- мационно-управляющие системы. 2016. № 1 (80). С. 16-25.
- Madhav V. Chitturi, Juan C. Medina, Rahim (Ray) F. Benekohal. Effect of Shadows and Time of Day on Performance of Video Detection Systems at Signalized Intersections // Transportation Research. Part C: Emerging Technologies. 2010. Vol. 18, iss. 2. P. 176-186.
- Гончаров А. В., Каракищенко А. Н. Влияние освещенности на качество распознавания фронталь- ных лиц // Известия ЮФУ. Технические науки. 2008. № 4. С. 88-92.
- Adnin Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. Vol. 19, No. 7. P. 712-732.
- Ramamoorthi R. Analytic PCA Construction for Theoretical Analysis of Lighting Variability in Images of a Lambertian Object // IEEE Transactions on Pattern Analysis and Machine Intelligenc. 2002. Vol. 24, No. 10. P. 10-21.
- Riklin-Raviv T., Shashua A. The Quotient image: Class based recognition and synthesis under varying illu- mination // Proceedings of the 1999 Conference on Com- puter Vision and Pattern Recognition. 1999. P. 566-571.
- Georghiades A. S., Belhumeur P. N. Illumination cone models for Faces recognition under variable lighting and Pose // IEEE Trans. Pattern Anal. Mach. Intelligence. 1998. No. 23(6). P. 643-660.
- Shashua A., Riklin-Raviv T. The quotient image: Class-based re-rendering and recognition with varying illuminations // Transactions on Pattern Analysis and Machine Intelligence. 2001. Vol. 23, No. 2. P. 129-139.
- Faraji M. R., Qi X. Face recognition under varying illuminations using logarithmic fractal dimension-based complete eight local directional patterns // Neurocomputing. 2016. Vol. 99. P. 16-30.
- Analysis and Modeling of Faces and Gestures / S. K. Zhou [et al.] // Proc. of the Third International Workshop, AMFG. 2007. Vol. 2688. P. 10-18.
- Goncalves W. N., Machado B. B., Bruno O. M. A complex network approach for dynamic texture recog- nition // Neurocomputing. 2015. Vol. 153. P. 211-220.
- A survey on visual 316 content-based video in- dexing and retrieval / W. Hu [et al.] // IEEE Transactions on Systems, Man, and Cybernetics. 2011. P. C 41 (6). Pp. 797-819.
- Dynamic Texture Classification Using Dynamic Fractal Analysis / Y. Xu [et al.] // 2011 International Con- ference on Computer Vision. Barcelona, Spain, 2011. P. 1219-1226.
- Lin H., Shi Z. Multi-scale retinex improvement for nighttime image enhancement // Optik - International Journal for Light and Electron Optics. 2014. Vol. 125, iss. 24. P. 7143-7148.
- Хрящев Д. А. Об одном методе анализа циф- рового изображения с применением гистограмм // Вестник Астраханского государственного техниче- ского университета. Сер. «Управление, вычислитель- ная техника и информатика». 2010. № 1. C. 109-113.
- Система обнаружения областей задымления на видеопоследовательности с применением локальных бинарных шаблонов (DKL 3.15) : свид. о гос. регист- рации программы для ЭВМ / А. В. Пятаева, М. Н. Фаворская. № 2015615904. Зарегистрировано в Реестре программ для ЭВМ 27.05.2015.
- Video smoke detection [Электронный ресурс]. URL: http://staff.ustc.edu.cn/~yfn/vsd.html (дата обраще- ния: 01.04.2017).
- Database of Wildfilmsindia [Электронный ресурс]. URL: www wildfilmsindia com (дата обраще- ния: 01.04.2017).
- V-MOTE Database [Электронный ресурс]. URL: http://www2.imse-cnm.csic.es/vmote/english_version/ index.php (дата обращения: 01.04.2017).
- Database of Bilkent University [Электронный ресурс]. URL: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/ (дата обращения: 01.04.2017).
- Видеопоследовательность, снятая самостоятель- но [Электронный ресурс]. URL: https://www.youtube. com/watch?v=tmBG_ v23zbk&t=12s (дата обращения: 01.04.2017).
Supplementary files
![](/img/style/loading.gif)