Method of iterative combination of tv signals based on linearization for machine vision systems

Full Text

Введение

Обработка сигналов систем видеонаблюдения, и, в том числе, технического зрения, является перспективным направлением в науке и промышленной технике.

Телевизионный сигнал обладает высокой информативностью по сравнению с сигналами от датчиков (акселерометров, гироскопов, одометров и т.д.). Эта особенность позволяет использовать телевизионные сигналы для построения интеллектуальных систем технического зрения. Одной из важных задач при обработке является совмещение сигналов. Эта задача возникает при распознавании объектов, слежении за движущимися объектами, определении их положения, формировании панорамных изображений, сжатии видеосигналов и т.д.

Развитие современной вычислительной техники позволяет решать многие задачи обработки в режиме реального времени. По этой причине разработчики методов и алгоритмов совмещения телевизионных сигналов сосредотачивают свои усилия не только на уменьшении погрешности, но и на оптимизации скорости обработки, чтобы выполнить это требование.

Релевантные работы

Анализ работ по обработке сигналов позволил выделить несколько направлений исследований в области совмещения.

Первое направление связано с классической теорией оценивания параметров с помощью проверки всех гипотез (перебранные методы). Неизвестные параметры оцениваются путем сравнения телевизионных сигналов по минимуму среднеквадратичного отклонения [1–4]. Другой почти аналогичный критерий основан на определении максимального значения коэффициента корреляции [2; 3; 5]. Если среди неизвестных параметров есть угол разворота, то для использования переборных алгоритмов, необходимо генерировать множество шаблонов [2], каждый из которых будет соответствовать некоторому углу поворота [6; 7]. Переборные методы характеризуются низкой погрешностью измерений. Однако их существенным недостатком является наличие высоких требований к вычислительной мощности.

Одним из способов повышения скорости обработки является Фурье-преобразование, которое позволяет уменьшить время расчета среднеквадратичного отклонения и корреляции [8–14].

Для оценки смещений достаточно использования одномерного преобразования Фурье над проекциями изображения на координатные оси [12]. Так как при сдвиге изображения модуль преобразования Фурье меняться не будет, а будет меняться только фазовая составляющая, то этот метод получил название фазовой корреляции изображений [11]. В работе [13] предлагается модификация метода фазовой корреляции, который позволяет проводить совмещение с учетом смещения и угла поворота.

В ряде работ [10; 14; 15] для совмещения изображений по смещению и углу поворота также используется преобразование Фурье. Для упрощения процедуры оценки поворота производится переход к логарифмически-полярной системе координат. Однако эти подходы ограничиваются совмещением с точностью, сравнимой с размером пикселя.

Другое направление совмещения основано на предположении, что на изображении можно выделить особые точки, которым в соответствии ставятся особые точки на эталонном изображении [16–18]. Параметры совмещения определяются путем решения системы уравнений. Недостатком этого подхода является высокая чувствительность к шуму, что не позволяет работать с реальными изображениями, которые подвержены не только аддитивным шумам и линейным искажениям, но и различного рода нелинейным искажениями (засветкам) [16; 18].

В основе исследований, связанных с линеаризацией, лежит идея разложения обрабатываемого сигнала в ряд Тейлора по аргументам, соответствующим параметрам совмещения. Для формирования линейной зависимости производится отбрасывание всех элементов ряда выше первого порядка. В результате формируется система линейных уравнений, решение которой определяет неизвестные параметры совмещения.

Основоположниками этого метода для совмещения телевизионных сигналов являются ученые Lucas и Kanade [19; 20]. Математическая модель для описания обрабатываемых сигналов с одной стороны является простой, а с другой стороны – удовлетворительно описывающей реальные геометрические трансформации для совмещения. Это определило ее повсеместное использование в различных научных и практических исследованиях. В научной литературе метод Lucas-Kanade часто называется методом оценки оптического потока (optical flow).

Существуют различные модификации метода:

 – более точное вычисление частных производных за счет использования полиномов [22];

– удаление импульсных помех за счет анализа данных в смежных фрагментах изображения;

– оценка угла поворота [23–25] за счет использования приближенных значений тригонометрических функций.

В этой статье рассматривается задача, которая не рассматривалась в других исследованиях: одновременная оценка трех параметров (двух смещений вдоль координатных осей и угла поворота) на фоне помех, возникающих из-за изменения условий освещенности (аддитивная и мультипликативная составляющая). Для решения этой задачи был разработан метод на базе линеаризации, который является обобщением работ [19; 20; 23–25].

Метод совмещения телевизионных сигналов при влиянии аддитивной и мультипликативной помех

Допустим f(x, y) и g(x, y) – это обрабатываемые сигналы. Для цифровых телевизионных сигналов (изображений) аргументы (x, y) принимаются дискретные значения (x_i, y_i).

Сигналы f(x, y) и g(x, y) получены в результате регистрации некоторого исходного сигнала s(x, y) в различные моменты времени. Параметры геометрической трансформации, определяются тремя параметрами: двумя смещениями вдоль осей, углом поворота, а яркостные характеристики из-за изменения освещенности описываются: аддитивной и мультипликативной составляющей.

Таким образом, можно записать:

$f\left(x_i,y_i\right)=s\left(x_i,y_i\right)+k\left(x_i,y_i\right)$, (1)

$g\left(x_i,y_i\right)=\lambda s\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)+\gamma +m\left(x_i,y_i\right)$, (2)

где ${x^{\text{'}}}_i=x_i\cdot \cos \left(\alpha \right)-y_i\cdot \sin \left(\alpha \right)+h$,

${y^{\text{'}}}_i=x_i\cdot \sin \left(\alpha \right)+y_i\cdot \cos \left(\alpha \right)+p$,

h, p – смещения, которые необходимо оценить,

α – угол поворота, который необходимо оценить,

λ – мультипликативная составляющая,

γ – аддитивная составляющая,

$k\left(x_i,y_i\right)$, $m\left(x_i,y_i\right)$ – реализации шума.

В формулу (1) подставим значения x'_i, y'_i вместо x_i, y_i и выразим функцию s(x, y):

$s\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)=f\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)-k\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)$, (3)

Подставим выражение (3) в формулу (2), получим:

$g\left(x_i,y_i\right)=\lambda \left[f\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)-k\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)\right]+\gamma +m\left(x_i,y_i\right)$. (4)

После подстановки выражений для x'_i, y'_i и введения обозначения:

$n\left(x_i,y_i\right)=-\lambda k\left({x^{\text{'}}}_i,{y^{\text{'}}}_i\right)+m\left(x_i,y_i\right)$, можно записать:

$g\left(x_i,y_i\right)=\lambda \cdot f\left(x_i\cdot \cos \left(\alpha \right)-y_i\cdot \sin \left(\alpha \right)+h,\right.$$\left.x_i\cdot \sin \left(\alpha \right)+y_i\cdot \cos \left(\alpha \right)+p\right)+\gamma +n\left(x_i,y_i\right)$. (5)

Если положить, что угол α мал, то можно сделать следующую замену:

$\cos \left(\alpha \right)\approx 1$, $\sin \left(\alpha \right)\approx \alpha$, тогда можно записать:

$\begin{array}{l}\lambda \cdot f\left(x_i\cdot \cos \left(\alpha \right)-y_i\cdot \sin \left(\alpha \right)+h,\right.\\ \left.x_i\cdot \sin \left(\alpha \right)+y_i\cdot \cos \left(\alpha \right)+p\right)+\gamma \approx \\ \approx \lambda \cdot f\left(x_i-y_i\cdot \alpha +h,x_i\cdot \alpha +y_i+p\right)+\gamma =\\ =\lambda f\left(x_i+\left(h-y_i\cdot \alpha \right),y_i+\left(p+x_i\cdot \alpha \right)\right)+\gamma \end{array}$.

Раскладывая функцию f в окрестности точки (x_i, y_i), получим:

$\begin{array}{l}f\left(x_i+\left(h-y_i\cdot \alpha \right),y_i+\left(p+x_i\cdot \alpha \right)\right)\approx \\ \approx f\left(x_i,y_i\right)+\frac{\partial f\left(x_i,y_i\right)}{\partial x}\cdot \left(h-y_i\cdot \alpha \right)+\\ +\frac{\partial f\left(x_i,y_i\right)}{\partial y}\cdot \left(p+x_i\cdot \alpha \right)\end{array}$.

Вводя обозначения:

$q\left(x_i,y_i\right)=\frac{\partial f\left(x_i,y_i\right)}{\partial x}\approx \frac{f\left(x_{i+1},y_i\right)-f\left(x_i,y_i\right)}{x_{i+1}-x_i}$, $r\left(x_i,y_i\right)=\frac{\partial f\left(x_i,y_i\right)}{\partial y}\approx \frac{f\left(x_i,y_{i+1}\right)-f\left(x_i,y_i\right)}{y_{i+1}-y_i}$,

получаем результирующее выражение:

$g\left(x_i,y_i\right)=\lambda \cdot f\left(x_i\cdot \cos \left(\alpha \right)-y_i\cdot \sin \left(\alpha \right)+h,\right.$$\begin{array}{l}\left.x_i\cdot \sin \left(\alpha \right)+y_i\cdot \cos \left(\alpha \right)+p\right)+\gamma \approx \\ \approx \lambda f\left(x_i,y_i\right)+\lambda q\left(x_i,y_i\right)\cdot \left(h-y_i\cdot \alpha \right)+\\ +\lambda r\left(x_i,y_i\right)\cdot \left(p+x_i\cdot \alpha \right)+\gamma \end{array}$. (6)

Для оценки параметров h, p, α, λ и γ воспользуемся методом наименьших квадратов (МНК):

$\begin{array}{l}F=\sum _{i=1}^N\left(g\left(x_i,y_i\right)-\lambda f\left(x_i,y_i\right)-\lambda q\left(x_i,y_i\right)\times \right.\\ {\left.\times \left(h-y_i\cdot \alpha \right)-\lambda r\left(x_i,y_i\right)\cdot \left(p+x_i\cdot \alpha \right)-\gamma \right)}^2\to \min .\end{array}$

Решение определяется путем приравнивания частных производных к нулю. В результате определяется система линейных уравнений:

\( \left\{ \begin{array}{l}
\lambda \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right) \cdot f\left( {{x_i},{y_i}} \right)} + \mu \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right) \cdot f} \left( {{x_i},{y_i}} \right) + \varepsilon \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right) \cdot f\left( {{x_i},{y_i}} \right)} + \phi \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right) \cdot f\left( {{x_i},{y_i}} \right)} - \gamma \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right)} = \sum\limits_{i = 1}^N {\left( {g\left( {{x_i},{y_i}} \right) \cdot f\left( {{x_i},{y_i}} \right)} \right)} \\
\lambda \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right) \cdot q\left( {{x_i},{y_i}} \right)} + \mu \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right) \cdot q} \left( {{x_i},{y_i}} \right) + \varepsilon \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right) \cdot q\left( {{x_i},{y_i}} \right)} + \phi \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right) \cdot q\left( {{x_i},{y_i}} \right)} - \gamma \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right)} = \sum\limits_{i = 1}^N {\left( {g\left( {{x_i},{y_i}} \right) \cdot q\left( {{x_i},{y_i}} \right)} \right)} \\
\lambda \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right) \cdot r\left( {{x_i},{y_i}} \right)} + \mu \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right) \cdot r} \left( {{x_i},{y_i}} \right) + \varepsilon \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right) \cdot r\left( {{x_i},{y_i}} \right)} + \phi \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right) \cdot r\left( {{x_i},{y_i}} \right)} - \gamma \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right)} = \sum\limits_{i = 1}^N {\left( {g\left( {{x_i},{y_i}} \right) \cdot r\left( {{x_i},{y_i}} \right)} \right)} \\
\lambda \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right) \cdot u\left( {{x_i},{y_i}} \right)} + \mu \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right) \cdot u} \left( {{x_i},{y_i}} \right) + \varepsilon \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right) \cdot u\left( {{x_i},{y_i}} \right)} + \phi \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right) \cdot u\left( {{x_i},{y_i}} \right)} - \gamma \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right)} = \sum\limits_{i = 1}^N {\left( {g\left( {{x_i},{y_i}} \right) \cdot u\left( {{x_i},{y_i}} \right)} \right)} \\
\lambda \sum\limits_{i = 1}^N {f\left( {{x_i},{y_i}} \right)} + \mu \sum\limits_{i = 1}^N {q\left( {{x_i},{y_i}} \right)} + \varepsilon \sum\limits_{i = 1}^N {r\left( {{x_i},{y_i}} \right)} + \phi \sum\limits_{i = 1}^N {u\left( {{x_i},{y_i}} \right)} - \gamma \cdot N = \sum\limits_{i = 1}^N {g\left( {{x_i},{y_i}} \right)}
\end{array} \right. \)

где $u\left(x_i,y_i\right)=-q\left(x_i,y_i\right)\cdot y_i+r\left(x_i,y_i\right)\cdot x_i$, $\mu =h\cdot \lambda$, $\epsilon =p\cdot \lambda$, $\varphi =\alpha \cdot \lambda$.

Система линейных уравнений решается относительно h, p, μ, ε, φ.

Итерационная обработка

Так как для оценки параметров совмещения использовалось разложение в ряд Тейлора, то полученное решение будет содержать методическую погрешность. Она возникает из-за отбрасывания элементов ряда выше первого порядка.

Чтобы уменьшить методическую погрешность, исходный метод был модифицирован: была добавлена итерационная обработка. Суть итерационной обработки заключается в пересчете сигнала g(x,y) в соответствии с вычисленными параметрами h, p и α:

$x{n}_i=x_i\cdot \cos \left(\alpha \right)-y_i\cdot \sin \left(\alpha \right)+h$,

$y{n}_i=x_i\cdot \sin \left(\alpha \right)+y_i\cdot \cos \left(\alpha \right)+p$.

Новый сигнал gn(x, y) = g(xn, yn) и исходный сигнал f(x, y) обрабатывается повторно. В результате, погрешность оценки параметров резко уменьшается. В ходе экспериментов было установлено, что пяти итераций достаточно и дальнейшее увеличение не приводит к существенному уменьшению погрешности.

 Эксперимент

Для проверки разработанного метода был проведен эксперимент с использованием телевизионных сигналов, полученных в системе технического зрения для измерения скорости движения протяженных объектов (см. рисунок 1).

Рисунок 1. Совмещение изображений: исходные изображения (а), результат совмещения (б)

На рисунке 1a показаны два изображения: на верхнем изображении квадратом выделен фрагмент изображения – это первый сигнал для обработки, а нижнее изображение – это второй сигнал.

Также на рисунке 1а отмечены реперные точки (точки, соответствующие друг другу) и центры фрагментов. У первого сигнала центр и реперная точка не совпадают в отличие от второго сигнала.

Разница между координатами центра и реперной точкой, фактически, определяет смещение, которое необходимо оценить.

Также из рисунка 1а видно, что телевизионные сигналы отличатся поворотом и яркостными характеристиками.

На рисунке 1б показан результат совмещения.

Как можно видеть, разработанный метод позволяет совместить изображения с высокой точностью.

Погрешность совмещения телевизионных сигналов

Для оценки погрешности совмещения при аддитивном шуме было проведено численное моделирование. Оно заключалось в добавлении помехи к каждому элементу телевизионного сигнала. Помеха имела нормальное распределение с задаваемым среднеквадратичным отклонением (СКО) σ_n. Полученные зашумленные телевизионные сигналы совмещались, а оцениваемые параметры совмещения сравнивались с действительными значениями (получены при нулевом СКО).

Погрешностью параметров будет являться значение среднеквадратичной величины (СКВ):

$СКВ=\sqrt{\left(\sum _{i=1}^L{\left(\widehat{h}-h\right)}^2\right)/L}$,

где $\widehat{h}$ – оценка параметра, h – действительное значение, L – количество моделирований.

Графики измерений для нескольких сочетаний аддитивной и мультипликативной составляющей представлены на рисунках 2,3.

Рисунок 2. Погрешность оценки угла

Рисунок 3. Погрешность оценки смещения

Точность оценки совпала с точностью оценки по методу полного перебора. Для получения прецизионной точности с помощью переборного метода, шаг дискретизации выбирался в пять раз меньше, чем размер пикселя, а для восстановления субпиксельных значений была использована линейная интерполяция. Для повышения скорости обработки переборного метода использовалось преобразования Фурье.

Преимущество разработанного метода по сравнению с переборным заключается в уменьшении времени обработки. Для примера, приведенного в статье, время обработки с помощью разработанного метода было приблизительно в 15 раз меньше, чем с помощью переборного.

Исходя из проведенных исследований зависимости погрешности параметров от мощности шума, можно сделать вывод, что погрешность оценки параметров уменьшается с ростом мультипликативной помехи. Это объясняется тем, что эквивалентное отношение сигнал/шум возрастает с ростом мультипликативной помехи, а аддитивная помеха не оказывает существенного влияния на оценку параметров.

При мощности шума σ_n = 1 у.е. яркости (при градациях от 0 до 255 у.е.) по параметрам h (p) СКВ составляет 0,2 пикселя, по углу поворота α составляет 0,3°.

Заключение

Разработанный метод оценки параметров для совмещения телевизионных сигналов является обобщением метода Lucas-Kanade.

С точки зрения погрешности оценки параметров разработанный метод совпадает с методом перебора, однако скорость обработки приблизительно в 15 раз выше.

Разработанный метод направлен на решение задачи прецизионного совмещения по осям координат и углу разворота при влиянии аддитивных и мультипликативных помех.

Разработанный метод может быть использован для задач прецизионной оценки параметров в системах технического зрения, для которых предъявляются требования обработки данных в режиме реального времени.

About the authors

Rinat R. Diyazitdinov

Author for correspondence.
Email: r.diyazitdinov@psuti.ru

Associate Professor of Network and Telecommunication System Department, PhD in Technical Sciences, Associate Professor

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Рисунок 1. Совмещение изображений: исходные изображения (а), результат совмещения (б)

Download (200KB)

Indexing metadata

3. Рисунок 2. Погрешность оценки угла

Download (174KB)

Indexing metadata

4. Рисунок 3. Погрешность оценки смещения

Download (179KB)

Indexing metadata