Search and Selection of License Plate Images in TV Systems with Video Analytics

Full Text

Важной областью применения телевизионных автоматизированных систем с видеоаналитикой является контроль движения транспортных средств. Работа таких систем предполагает анализ видеопотоков, кадры которого можно рассматривать как отдельные изображения, поступающие на вход с периодичностью, определяемой частотой кадров. Идентификация транспортных средств производится путем распознавания государственных регистрационных знаков (ГРЗ). Алгоритм идентификации для обработки каждого кадра видеопотока, представленный на рисунке 1, включает два основных этапа. 1. Поиск и локализация объекта интереса (ROI) на сложном изображении: объектами интереса являются области изображения с символами ГРЗ (блоки 3, 4 и 6 на рисунке 1). 2. Распознавание символов на выделенном ГРЗ (блоки 7, 8 алгоритма на рисунке 1). Поиск и локализация положения пластины ГЗР на сложном изображении основаны на использовании ее характерных особенностей. Рассмотрим их на примере ГРЗ для частных транспортных средств России (см. рисунок 2): - размеры ГРЗ (мм) - 520×112; - цвет фона - белый, цвет символов - черный; - число символов ГРЗ - 8 или 9; - размеры буквенных символов (мм) - (42… 48)×58; - размеры цифровых символов (мм) - (34… 48) ×76; - размеры цифровых символов региона (мм) - (27…34) ×58; - расстояние между символами (мм) - 5…20; - цвет окантовки ГРЗ - черный; - ширина линии окантовки (мм) - (3 ±0,5). Рисунок 1. Алгоритм идентификации ГРЗ Рисунок 2. Номерной знак автомобиля физических лиц РФ В статье рассматриваются два алгоритма для поиска и выделения областей интереса с символами ГРЗ. Наиболее распространенным является алгоритм поиска на основе выделения границ объектов. При этом изображение ГРЗ рассматривается как связная замкнутая область переднего плана с заданными размерами. В результате работы алгоритма формируется замкнутый контур, соответствующий пластине ГРЗ. Как показали исследования, использование этого алгоритма приводит к частым ошибкам. Необходимость использования дополнительных морфологических операций для формирования замкнутой области, соответствующей номерной пластине, значительно увеличивает вычислительные затраты. Второй алгоритм, предлагаемый авторами, основан на поиске не номерной пластины, а непосредственно символов государственного регистрационного знака, которые затем используются для локализации местоположения номерной пластины на изображении. Алгоритм на основе выделения границ объектов В основе данного алгоритма лежит поиск контуров объектов на полутоновом изображении методами пространственной фильтрации. Большинство способов поиска контуров используют анализ производных яркости 1-го или 2-го порядка. Пиксели, для которых значения производных яркости превышают некоторый порог или соответствуют заданному уровню, относят к контуру [1-5]. Наиболее эффективным методом обнаружения контуров объектов является детектор Кэнни [1], работа которого включает следующие шаги: - сглаживание исходного полутонового изображения f (x, y) низкочастотным фильтром Гаусса с характеристикой 22 22 ( , ) , xy G x y e + - σ= где σ - стандартное отклонение. Получившееся в результате свертки изображение ( , ) ( , ) ( , ) g x y f x y G x y = ∗ будет очищено от высокочастотных шумов; - формирование двумерных матриц модуля градиента (,) Mxy и направления градиента (,) xyα яркости в соответствии с выражениями: 1 22 2(,) , M x y Gx Gy = +  ( , ) , arctg Gxxy Gy  α=  где (,) ,dg x yGx dx = (,) dg x yGy dy = - производные первого порядка в направлении x и y; - подавление немаксимальных элементов в матрице модуля градиента (,) Mxy с целью уменьшения толщины контуров. Полученная в результате матрица (,) N g x y будет содержать только элементы утонченных контуров; - обработка матрицы (,) N g x y с помощью преобразования, для которого используются два порога , LT , HT причем . LH TT < «Слабые» элементы матрицы, для которых ( , ) , << L N H T g x y T добавляются к «сильным» элементам, для которых ( , ) , NH g x y T > если они являются восьмисвязными. Кроме собственно выделения границ объектов алгоритм использует следующие характерные особенности объекта интереса: - цвет пластины ГРЗ белый; - по периметру ГРЗ имеет окантовку черного цвета; - отношение ширины ГРЗ к его высоте составляет 4,64; С учетом вышесказанного алгоритм поиска и локализации сводится к выполнению следующей последовательности действий. 1. Обработка исходного полутонового изображения детектором Кэнни с заданными значениями параметров , LT H T и . σ 2. Обработка полученного бинарного изображения методами морфологии с целью устранения небольших разрывов контуров. 3. Морфологическая фильтрация бинарного изображения для удаления объектов, размеры которых явно не соответствуют ГРЗ. Сформированное таким образом сегментированное изображение будет содержать объекты двух классов: фон и замкнутые области переднего плана. Все объекты переднего плана являются претендентами на область интереса - ГРЗ. 4. Формирование размеченной бинарной матрицы из фона и объектов переднего плана. 5. Фильтрация объектов переднего плана по размерам и соотношению габаритных размеров. При успешном выполнении перечисленных действий будет сформирован контур, граница которого должна совпадать с областью интереса - изображением ГРЗ на исходном изображении. Работу описанного алгоритма рассмотрим на примере обработки двух разных по качеству изображений на рисунках 3 и 6. На рисунке 3 показано исходное изображение автомобиля с хорошо различимым ГРЗ. Бинарное изображение, сформированное детектором Кэнни, показано на рисунке 4. Анализ показывает, что результат выделения контуров достаточно хороший, пластина ГРЗ имеет контур с незначительными разрывами. На рисунке 5 представлен результат морфологической обработки после выполнения 2-го и 3-го шагов алгоритма. Видно, что граница ГРЗ сформирована и не имеет разрывов. Это позволяет утверждать, что область интереса с ГРЗ будет локализована и выделена при выполнении 4-го и 5-го шагов алгоритма. На рисунке 6 приводится исходное изображение автомобиля с плохо различимым ГРЗ. Результат работы детекторов Кэнни (см. рисунок 7) стабильно хорош. Однако обилие несущественных контуров не компенсирует их большие разрывы вокруг области интереса. Очевидно, что выполнение 4-го и 5-го шагов алгоритма не приведет к локализации области интереса. Это подтверждается рисунком 8. Один из способов улучшения контура вокруг области интереса заключается в интерактивном подборе порогов преобразования , LT H T в детекторе Кэнни. Однако при работе в автоматическом режиме это не может быть реализовано. Поэтому рассматриваемый алгоритм не рекомендуется использовать в системах автоматической идентификации транспортных средств. Рисунок 3. Исходное изображение с хорошо различимым номерным знаком Рисунок 4. Бинарное изображение после обработки детектором краев Кэнни Рисунок 5. Бинарное изображение после морфологической обработки Рис. 6. Исходное изображение с плохо различимым номерным знаком Рисунок 7. Бинарное изображение после обработки детектором краев Кэнни Рисунок 8. Бинарное изображение после морфологической обработки Алгоритм на основе поиска последовательности символов Алгоритм использует характерные особенности расположения символов номера на ГРЗ, который является областью интереса: - символы ГРЗ по горизонтали расположены рядом и образуют цепочку соседей; - число символов ГРЗ составляет 8 или 9; - положение символов ГРЗ на пластине известно; - размеры цифровых и буквенных символов ГРЗ известны, следовательно, известно отношение ширины символа к его высоте. Алгоритм включает следующие шаги. 1. Отсечение изображения транспортного средства от фона. 2. Повышение контраста полутонового изображения. 3. Бинаризация полутонового изображения с порогом, вычисленным по методу Отсу [5; 6]. 4. Формирование размеченной бинарной матрицы из связных объектов переднего плана. 5. Удаление несущественных объектов переднего плана методами морфологической обработки [5; 7; 8]. 6. Определение цепочек объектов переднего плана, которые являются претендентами на цепочки символов. 7. Фильтрация претендентов с использованием дескрипторов областей. 8. Локализация области интереса и формирование бинарной маски. 9. Выделение области интереса из исходного полутонового изображения. Шаги алгоритма 1-5 не требуют пояснений и достаточно подробно описаны в литературе. Отличительной чертой алгоритма является шаг 6. Этот шаг основывается на том, что число символов, их размеры и расположение на пластине ГРЗ известны и описаны выше. Эти особенности позволяют рассматривать символы ГРЗ как цепочку несвязных соседних объектов переднего плана с заданными размерами. Как показывают эксперименты, число объектов в цепочке, в зависимости от качества бинарного изображения, может изменяться от 5 до 9. Определив координаты начального символа в цепочке, можно локализовать положение ГРЗ на изображении и сформировать бинарную маску для выделения области интереса [9; 10]. Тем самым будут реализованы шаги 7-9 алгоритма. Известно, что для уверенной идентификации размер изображения ГРЗ по горизонтали должен составлять 100…140 пикселей [11]. При этом среднее число пикселей для отображения символов в ГРЗ будет составлять по ширине 120; по высоте - 20. С учетом того, что символы расположены горизонтально, возможное отклонение координат символов вдоль оси Y соответствует 5 пикселам. Если допустить, что изображение ГРЗ может быть слегка повернуто, то диапазон отклонений вдоль оси Y можно увеличить до 10 пикселов. Исходя из описанного, поиск символов ГРЗ на изображении можно свести к поиску цепочек объектов, координаты которых по оси Х отличаются менее чем на 120 пикселов, а координаты по оси Y - менее чем на 10 пикселов. Реализовать это можно, вычисляя разность координат i x∆ и i y∆ между всеми объектами переднего плана бинарной размеченной матрицы, полученной на шаге 4 алгоритма: 1 1 1 , xxx ∆ = - 2 1 2 , x x x ∆ = - …, 1 ; kk x x x ∆ = - 1 1 1 , yyy ∆ = - 2 1 2 , y y y ∆ = - …, 1 , kk y y y ∆ = - где k - число объектов переднего плана, а также { } 1,2,... . ik = Если хотя бы два объекта будут отвечать условию 120 10, ii x AND y ∆ ≤ ∆ ≤ (1) то они включаются в цепочку соседей и их дескрипторы записываются в созданный массив структур. В результате в этом массиве будут храниться дескрипторы цепочек соседних по горизонтали объектов. При этом вполне вероятно, что символам ГРЗ будут соответствовать самые длинные цепочки с числом соседей от 5 до 9. В качестве дескрипторов областей достаточно использовать наименьший ограничивающий прямоугольник. Он представляет собой вектор 1×4, в котором хранятся координаты верхнего левого угла ограничивающего прямоугольника (,) xy и его размеры по осям X и Y: x_width, y_width: [ ] _ _ . x y x width y width Выбрав из массива структур самую длинную цепочку, несложно определить координаты ее начала. Они будут соответствовать координатам первого символа в цепочке. Теперь, поскольку размеры области интереса с символами ГРЗ известны, можно сформировать прямоугольную бинарную область (маску) для ее выделения. Для этого вычислим координаты ее левого угла и размеры, после чего запишем их как четырехэлементный числовой вектор [ ] _ _ , m m m m x y x w y w = m (2) где 20, m xx = - 15 m yy = - - координаты левого верхнего угла прямоугольной маски; _ m xw = 120,x = + _ m yw = 30 y+ - размеры маски по направлениям X и Y. Экспериментальное исследование Экспериментальная проверка алгоритма на основе поиска последовательности цепочек сим волов выполнялась на реальных изображениях транспортных средств. На рисунке 9 видны разные этапы его выполнения для изображения с хорошо различимым ГРЗ (см. рисунок 9, а). На рисунке 9, б показано изображение, бинаризованное по вычисленному порогу Отсу, а на рисунке 9, в - изображение размеченной бинарной матрицы (инвертировано) с обнаруженными цепочками объектов переднего плана, которые удовлетворяют заданному условию 120 10. ∆ ≤ ∆ ≤ ii x AND y Найденные объекты заключены в ограничивающие прямоугольники. Видно, что все 9 символов ГРЗ объединены в цепочку соседей. На рисунке 9, г показано исходное изображение с наложенной маской, сформированной в соответствии с (2). Результат работы алгоритма - выделенная область интереса с ГРЗ приведена на рисунке 9, д. Рисунок 10 демонстрирует аналогичные шаги выполнения алгоритма для изображения с плохо различимым номером (см. рисунок 10, а). Несмотря на то что в цепочке (см. рисунок 10, в) находится только 6 символов, область интереса с ГРЗ удается локализовать: см. рисунок 10, г и выделить: см. рисунок 10, д. Для экспериментальных исследований использовались программы, разработанные авторами в среде MATLAB. Рисунок 9. Поиск последовательности символов на изображении с хорошо различимым ГРЗ Заключение Рассмотрены два алгоритма поиска и локализации изображения ГРЗ транспортных средств для телевизионных систем с видеоаналитикой. Алгоритм, основанный на формировании границ, использует детектор краев Кэнни и показывает хорошие результаты в условиях, когда изображение номерного знака высокого качества. В условиях, когда изображение ГРЗ плохо различается из-за загрязнения или шума, использование этого алгоритма приводит к ошибкам. Существенным недостатком алгоритма является значительное время, затрачиваемое на его реализацию. Это обусловлено многоступенчатостью алгоритма Кэнни и использованием сложных вычислительных операций. Алгоритм, основанный на поиске последовательности символов номерного знака, отличается использованием простых вычислительных операций и выполняется в 8 раз быстрее. Точность алгоритма зависит от правильного выбора порога бинаризации. Использование методов автоматического вычисления порога бинаризации [12] на шаге 3 описанного алгоритма позволяет рекомендовать его для построения систем автоматического распознавания транспортных средств. Эксперименты показали, что если на двоичном изображении есть по меньшей мере три символа номерного знака, то объект, представляющий интерес, будет выделен. Рисунок 10. Поиск последовательности символов на изображении с плохо различимым ГР

About the authors

O. L Kulyas

Povolzhskiy State University of Telecommunication and Informatics

Samara, Russian Federation

A. S Loshkarev

Povolzhskiy State University of Telecommunication and Informatics

Samara, Russian Federation

References

Supplementary files