APPLICATION OF BLIND IMAGE CORRECTION METHODS TO ORLAN HARDWARE AND SOFTWARE SOLUTION

Full Text

Введение Проблемы машинного зрения в настоящее время представляют интерес практически для каждой крупной IT-компании. Яндекс и Uber занимается разработкой автономного такси, Tesla и Google активно работают над автопилотами для автомобилей. Все эти разработки основаны на системах с оптическими или инфракрасными цифровыми камерами. Развитие технических систем обработки информации позволяет решать прикладные задачи, связанные с цифровой обработкой изображений. Под техническими системами измерений и обработки информации в данной статье подразумеваются системы, включающие устройства распознавания объектов на оптических изображениях. В системах обработки информации изображение обычно регистрируется матрицей сенсоров на основе приборов с зарядовой связью (ПЗС-матрицы). При этом выполняются оцифровка, дискретизация и квантование изображения. Наиболее часто используются полутоновые (серые) изображения с градацией яркости, особенно в аппаратно-программных комплексах машинного зрения (промышленные роботы, автоматические камеры фиксации нарушений), а также в аэрокосмической съемке, цифровых телескопах, микроскопах и т.д. Под изображениями будем понимать цифровые полутоновые изображения с градацией серого цвета. В качестве объектов могут выступать фотоснимки человека, текста, движущихся целей (самолет, автомобиль), объекта природы (в том числе, сделанный из космоса), теле- и киноизображение и т.д. Что касается комплексов фиксации нарушений правил дорожного движения, то в настоящее время одной из ключевых задач при их разработке является повышение точности распознавания автомобильных номеров. Так, например, в аппаратно-программном комплексе (АПК) «Орлан», на программно-аппаратной базе которого нами проводились эксперименты, одной из причин возникновения проблем в распознавании является отсутствие автофокуса, при котором объекты (в данном случае автомобили), находящиеся вне области фокуса, подвержены искажению. Рисунок 1. Внешний вид аппаратно-программного комплекса «ОРЛАН» На практике эта проблема часто решается путем подбора камеры с улучшенными характеристиками автофокусировки, что обычно влечет за собой увеличение стоимости конечного решения. Другой вариант - использование программных средств улучшения изображений. Одним из эффективных способов компенсации смазов и (или) расфокусировок оптических изображений является так называемое слепое восстановление изображений [1]. В настоящее время создано большое многообразие алгоритмов слепой коррекции изображений (в литературе часто встречается термин «слепая деконволюция») [2], обладающих разными характеристиками и, соответственно, разными возможностями для приложений. В работе анализируются возможность и особенности применения алгоритма слепой коррекции изображений, описанного в [3]. В этой работе рассматривается применение вариационного байесовского подхода и гамма-распределений при оценке неизвестных параметров для предотвращения сходимости к нежелательным оценкам изображения и параметров размытия в процессе работы алгоритма восстановления. В настоящей статье проанализирована эффективность алгоритма детектирования автомобильных номеров АПК «Орлан» в условиях применения алгоритмов слепой коррекции. Математическая модель изображения Слепая деконволюция относится к классу задач следующего вида [3-4]: , (1) где принадлежит изображению; - представляют собой, соответственно, оригинальное изображение, наблюдаемое изображение, некоторую функцию искажения (функцию распределения точки), представленную размытием и видимым шумом. Это выражение можно записать в векторной форме (2) где - матрица Теплица, полученная из функции искажения. При классическом восстановлении изображения предполагается, что функция размытия известна, и процесс искажения компенсируется, используя один из многих существующих алгоритмов восстановления изображений. В рассматриваемом алгоритме функция размытия неизвестна, но ее оценка включена в процедуру восстановления. Когда оценка функции размытия выполняется совместно с процессом восстановления, большинство алгоритмов решают задачу слепой деконволюции путем включения априорных статистических данных в процесс восстановления. В рамках задач, рассмотренных в [3], применяется байесовская парадигма для совместной оценки изображений, размытия и неизвестных гиперпараметров в задаче слепого восстановления. Байесовский подход к задаче слепой деконволюции Целью метода слепой деконволюции является получение оценок и на основе наблюдаемого изображения . Основная задача, которую необходимо решить при разработке алгоритма восстановления, заключается в нахождении совместного распределения , где - вектор неизвестных параметров распределений шума, изображения и функции размытия. Для Ω, f, h и g можно определить условное совместное распределение в виде . (3) Большинство оптических изображений можно описать априорным распределением вида [4] , (4) где C - оператор Лапласа, - размер вектора столбца, обозначающего лексикографически упорядоченные по строкам пиксели изображения; - параметр распределения (4). Аналогично можно записать функцию распределения пикселей изображения точечного источника . (5) Предположим, что шум является гауссовским с нулевым средним, дисперсией равной . Тогда плотность вероятностей наблюдаемого изображения можно выразить следующим образом: (6) Оценка параметров производится алгоритмом максимума апостериорной вероятности (МАВ) в виде (7) Соответственно МАВ оценку истинного изображения и функции искажения можно получить в виде (8) В рамках вариационного байесовского подхода оценку неизвестных параметров проводят следующим образом (см. подробнее [3; 5]). Обозначим через все неизвестные нам параметры: (9) Для обозначим как подмножество параметров за исключением параметра . Например, если , то . Тогда расстояние Кульбака-Лейблера между аппроксимирующим распределением с независимыми компонентами и распределением параметров, полученных на основе наблюдаемого изображения будет иметь следующий вид (10) Оценка неизвестного параметра будет иметь распределение, при котором расхождение минимально: (11) Таким образом в рамках данного подхода задача слепой деконволюции изображения сводится к итерационному поиску и нахождению оценки в виде . (12) Распределение гиперпараметров распределений может быть выбрано различным способом, в рассматриваемом алгоритме - гамма распределение. Особенности анализа изображений в АПК «ОРЛАН» Анализ изображения в комплексе фиксации нарушений правил дорожного движения производится в три этапа: детектирование прецедента, детектирование и локализация регистрационного номера транспортного средства, распознавание номерного знака. Пример изображения, полученного при помощи АПК «ОРЛАН», представлен на рисунке 2. Первоначальной целью исследования являлось повышение точности распознавания среди детектируемых номерных знаков. Однако, как выяснилось, уязвимым местом в работе АПК «ОРЛАН» является именно детектирование номера, а не точность его распознавания. В основе алгоритма детектирования автомобильного номера лежит довольно распространённый метод анализа изображения с применением оператора Собеля [4]. Оператор Собеля - это дискретный дифференциальный оператор, вычисляющий приближенное значение градиента яркости изображения. Очевидно, что при искажении типа «размытие» или «смаз» картина градиента яркостей становится слабовыраженной, что затрудняет решение задач машинного зрения. При расфокусированном изображении программная часть АПК «ОРЛАН» не сможет обнаружить номерные знаки и вынесет решение, что автомобиля на фотографии нет, так как отличительный признак транспортного средства отсутствует. Рисунок 2. Изображение, полученное при помощи АПК «ОРЛАН» Если локализация номерного знака прошла успешно, то изображение с большой вероятностью обладает достаточным качеством и распознавание будет выполнено с необходимой высокой точностью. Другими словами, в таком случае распознавание успешно осуществляется без использования слепой деконволюции. Тестирование алгоритма слепой деконволюции При подготовке материала для тестирования алгоритма была использована фотография, изображенная на рисунке 3. Для получения изображения использовался фотоаппарат модели Cannon EOS 1300D. Рисунок 3. Исходное изображение Чтобы оценить эффективность работы алгоритма в зависимости от степени искажения, при помощи пакета программ Matlab была получена серия снимков с заведомо известной функцией искажения. При решении задач обработки изображений применяется функция фильтрации imfilter в паре с функцией fspecial, которая позволяет задавать различные типы масок фильтра. В данном случае в качестве функции искажения использовался фильтр Гаусса размером 50×50 пикселей с переменным стандартным отклонением: fspecial («gaussian», 50, х), где x - стандартное отклонение. Стандартное отклонение х изменялось в диапазоне от 0,1 до 3,0 с шагом 0,1. В результате получается 30 изображений с разной степенью размытия по Гауссу. Изображения со степенью размытия 0,4; 1,2; 2,0 и 2,8 представлены на рисунке 4. Рисунок 4 .Синтетически деградированные изображения с разной степенью размытия При восстановлении деградированного изображения необходимо произвести операцию обратной свертки и при этом учитывать уровень шума. Рисунок 5. Изображения со стандартными отклонениями 1,0; 1,5 и 2,0 Рассматривая модель изображения (1), можно прийти к выводу, что для нахождения оригинального изображения необходимо поделить левую и правую часть выражения (1) на . Однако в таком случае достаточно шума даже с низким уровнем (который всегда присутствует на изображении), чтобы слагаемое стало доминировать. Это приводит к тому, что восстановленное изображение почти полностью зашумлено. Таким образом, устойчивость алгоритма слепой деконволюции к аддитивному шуму на изображении является важным критерием оценки. Для тестирования алгоритма на устойчивость к аддитивному шуму получена серия синтетически деградированных изображений с применением функция пакета Matlab. В качестве исходного изображения были взяты три изображения со стандартными отклонениями 1,0; 1,5 и 2,0 (см. рисунок 5). На изображения был наложен шум при помощи функции imnoise (I, «gaussian», m, var), где I - исходное изображение, «gaussian» - тип фильтра, m - среднее значение шума (в рамках эксперимента выбрано равным нулю), var - вариация. Рисунок 6. Синтетически деградированные изображения с шумом Вариация выбрана в диапазоне от 0 до 0,039 для с шагом 0,001. В результате получено 40 изображений для каждого стандартного отклонения, то есть всего 120 изображений. Примеры изображений с вариацией шума 0,02 (стандартное отклонение равно 2,0) представлены на рисунке 7, где отображены полученные данные в виде трехмерной диаграммы. Из рисунка 7 видно, наилучшие результаты при распознавании достигаются при искажение размытием с уровнем вариации не более чем 1,5. При этом следует отметить, что если вариация размытия превышает 1,5, то наилучший результат достигается при нормализованных доверительных коэффици-ентов на уровне 0,7-0,8. Для сравнения работы алгоритма со сторонней реализацией были проделаны аналогичные эксперименты с фотографиями, полученными при обработке встроенными в Matlab функциями восстановления изображения. Однако результат восстановления был недостаточным для локализации номерных знаков на фотографии. Рисунок 7. Результаты анализа восстановленных изображений Кроме того, серия тестов была проведена на ПО с закрытым исходным кодом SmartDeblur. Результаты, полученные программой SmartDeblur, представлены на рисунке 8 черной линией. Рисунок 8. Результаты распознавания изображений с обработкой SmartDeblur и рассматриваемым алгоритмом Как видно из данного графика, схожие результаты дает рассматриваемый нами алгоритм при уровне доверительных параметров равных нулю. При таком значении доверительных параметров коррекция гиперпараметров в процессе работы алгоритма не производится. Другими словами, апостериорные данные в процессе восстановления не используются. Как видно по результатам тестов, представленным в таблице 1, при значительном уровне искажения изображения (с вариацией размытия от 2,0 и выше) даже незначительный шум становится затруднительным для работы алгоритма восстановления. По этим данным можно сделать вывод, что эффективность использования алгоритма при обработке изображений с шумом существенно снижается в задачах машинного зрения. Таблица 2. Сравнение алгоритмов восстановления изображений Шум (SNR) Метод Число итераций 40 dB Метод линий 77 Градиентный спуск 150 Слепая деконволюция 15 Слепое восстановление 96 20 dB Метод линий 68 Градиентный спуск 1500 Слепая деконволюция 18 Слепое восстановление 25 В таблице 2 приведены результата анализа производительности алгоритма слепой деконволюции в сравнении с аналогичными методами решения задач коррекции линейных искажений изображений. Как можно заметить, алгоритм слепой деконволюции дает лучшие показатели в сравнении с алгоритмом слепого восстановления. Методы линий и градиентных спусков, являются более затратными по вычислительным ресурсам по сравнению с методом слепой деконволюции. Заключение По итогам работы можно сделать следующие выводы. Алгоритм [3] был реализован в программном коде среды Matlab, его экспериментальная оценка позволила определить оптимальные параметры слепого восстановления для применения в системах машинного зрения. Анализ аналогичных решений в области коррекции искажений применительно к задачам машинного зрения выявил недостатки применения алгоритма, заложенного в программный пакет «SmartDeblur». Слепая деконволюция улучшает анализ изображений в системах машинного зрения при наличии искажений типа «смаз» или «расфокусировка», однако при наличии существенных шумов эффект от его применения снижается. Данный алгоритм визуально улучшает качество изображений, что делает его применение возможным в решениях съемки с летательных аппаратов при возникновении искажения типа «смаз». Алгоритм на основе вариационного байесовского метода обладает высокой производительностью, что делает его привлекательным для применения во встраиваемых системах. Таблица 1. Результаты точности распознавания изображений с номерным знаками при разном уровне шума Вариация размытия 2,0 1,5 1,0 Вари-ация шума Исходное изображение Восстановленное изображение Вари-ация шума Исходное изображение Восстановленное изображение Вари-ация шума Исходное изображение Восстановленное изображение 0 78,78 99,78 0 99,95 99,53 0 99,95 97,84 0,001 0 99,98 0,001 99,96 99,1 0,001 99,98 98,22 0,002 0 99,88 0,002 99,79 99,76 0,002 99,76 98,85 0,003 0 77,88 0,003 99,94 99,95 0,003 99,95 98,97 0,004 0 99,41 0,004 78,52 99,87 0,004 99 99,99 0,005 0 60,44 0,005 99,57 99,9 0,005 98,48 99,94 0,006 0 78,57 0,006 97,25 99,87 0,006 99,24 99,75 0,007 0 0 0,007 74,74 99,87 0,007 99,39 99,86 0,008 0 0 0,008 0 99,59 0,008 99,44 99,94 0,009 0 96,44 0,009 99,32 60,44 0,009 98,5 99,92 0,01 0 0 0,01 0 58,99 0,01 77,73 99,85 0,011 0 0 0,011 0 77,89 0,011 74,64 99,87 0,012 0 0 0,012 95,46 0 0,012 97,89 99,71 0,013 0 0 0,013 0 99,22 0,013 76,17 99,81 0,014 0 0 0,014 73,87 78,94 0,014 59,33 99,95 0,015 0 0 0,015 0 99,17 0,015 97,7 99,42 0,016 0 0 0,016 0 78,86 0,016 0 98,42 0,017 0 0 0,017 0 78,3 0,017 98,76 97,7 0,018 0 0 0,018 0 99,19 0,018 95,88 99,81

About the authors

Oleg Valerievich Goryachkin

Povolzhskiy State University of Telecommunications and Informatics

Email: goryachkin-ov@psuti.ru

Nikolay Aleksandrovich Gusev

Samara National Research University

Email: nikolay.gusev@spacekennel.ru

References

Supplementary files