HOMOGRAPHY SUPERPOSITION OF TELEVISION SIGNALS BY RANSAC FOR COMMERCIAL MACHINE VISION

Full Text

Введение Совмещение телевизионных сигналов играет важную роль в системах технического зрения. Данная задача решается при детектировании и распознавании объектов, оценке положения в пространстве (реконструкция трехмерного изо- бражения), повышении качества изображения, уменьшении объема хранимых данных и т. д. Одной из задач в системах промышленного зрения является восстановление информации телевизионного изображения. Это достигается за счет совмещения сигналов, полученных от измерительных систем различного спектраль- ного диапазона (например, тепловизионного и телевизионного сигнала); совмещения сигналов системы, полученных в разные моменты време- ни; совмещения сигналов, полученных от много- камерной системы и работающих под разными ракурсами [8]. Примерами подобных систем являются ави- ационные системы, системы обзорного видео вагонов-путеизмерителей на железной дороге, системы безопасности. Основное требование, предъявляемое к алгоритмам обработки, - это низкая вероятность ошибки совмещения, чтобы неверное совмещение не искажало реальной ин- формации и не оказывало негативного влияния на действие оператора. Для выполнения данного требования по воз- можности системы видеорегистрации жест- ко фиксируют друг относительно друга, после чего проводят оценку параметров совмещения. Использование рассчитанных параметров совме- щения обеспечивает приемлемый результат (сов- мещение с постоянными параметрами). В статье рассматривается задача оценки па- раметров проективного совмещения в автома- тическом режиме, позволяющая объединять изображения различных видеосистем (расчет по- стоянных параметров совмещения). А для повы- шения качества совмещения предложена проце- дура, уменьшающая погрешности совмещения, возникающие в ходе динамического воздействия (вибрации). Обзор существующих работ Вопросом оценки параметров проективного совмещения занимались различные исследовате- ли, также ими рассматривалась проблема, связан- ная с сопоставлением реперных точек совмещае- мых изображений. В [1] предлагается способ двухэтапной об- работки. На первом этапе выделяются информа- тивная область изображения и особые точки на ней. По найденным парам реперных точек оце- нивается «приближенное проективное преобра- зование», которое уточняется на втором этапе с использованием триангуляции Делонге. Недоста- ток данной работы заключается в сильных огра- ничениях, накладываемых на входные изображе- ния: относительное смещение между реперными точками не превышает 1 % от размеров самого изображения. Данное ограничение характерно для очень ограниченного числа задач. «Infokommunikacionnye tehnologii» 2020, Vol. 18, No. 4, pp. 443-449 Рисунок 1. Изображение подстилающей поверхности в различные моменты времени В [2; 4] предлагается способ совмещения на основе метода RANSAC. Суть работы заключа- ется в предварительном выделении контура с x  h11 x  h12 y  h13 , h31 x  h32 y  1 (1) реперными точками в ней. Перебирая различные варианты сопоставления 4 точек на обоих изо- бражениях, вычисляется метрика - количество y  h21 x  h22 y  h23 h31 x  h32 y  1 или в матричной форме в однородных координатах: совпадений контурных точек. Максимум ме-  x   h11 h12 h13   x  трики будет соответствовать оценке параметров       проективного преобразования. Также в данной работе предлагается процедура улучшения ре-  y    h21  h    31 h22 h32 h23    y . 1   1  (2) зультатов на основании отбрасывания случайной пары реперных точек. Недостатком данного спо- соба является сложность распознавания базового контура с реперными точками, от которого зави- сит последующая обработка. Методы, основанные на сопоставлении осо- бых точек на основании детекторов SIFT [6] и SURF [5], могут быть использованы только в случае разработки специальной процедуры ва- лидации, которая определит правильность сопо- ставления точек. В противном случае параметры будут оценены неверно. Идея предлагаемого способа заключается в следующем: предварительное распознавание реперных точек (для этой цели используется де- тектор Харриса [9]), удаление неинформативных точек, сопоставление точки и одновременно вы- числение преобразования методом RANSAC. Эф- фект достигается за счет использования инфор- мативных точек. При наличии большого числа реперных точек возрастает вероятность неверной оценки параметров проективного совмещения. Удаление неинформативных точек ведет к повы- шению вероятности верной оценки параметров. Описание предлагаемого способа Проективные преобразования [7] определяют- ся следующей формулой:       В (1)-(2) присутствует восемь неизвестных па- раметров. Соответственно, необходимо иметь че- тыре точки на двух изображениях, чтобы оценить эти параметры. Если количество точек более че- тырех, то для получения решения рекомендуется использовать метод наименьших квадратов [7]. Подробный вывод формул для оценки параме- тров представлен в работе [4]. Для иллюстрации работы алгоритма рассмо- трим следующий пример (см. рисунок 1). На рисунке 1 представлены кадры с изобра- жениями подстилающей поверхности, получен- ные с борта летательного аппарата в различные моменты времени. Отчетливо видно, что за про- межуток времени между съемками кадров значи- тельно поменялся ракурс. Это привело к проек- тивным изображениям. Задачей, которая ставится в исследовании, яв- ляется оценка параметров проективного преобра- зования для совмещения двух изображений. Для оценки параметров будут использова- ны реперные точки (в англоязычной литературе их также называют interest point, feature point). В работе для этой цели применялся детектор Harris [9]. Количество реперных точек зависит от порога, устанавливаемого разработчиком. При выборе малого порога количество точек бу- дет велико. С увеличением порога количество а б Рисунок 2. Изображение с реперными точками: а - до удаления неинформативных точек; б - после удаления неинформативных точек а б в Рисунок 3. Примеры проективного совмещения: а - исходное изображение; б - верный выбор точек; в - неверный выбор точек на совмещаемом изображении точек будет уменьшаться. Величина порога фак- тически определяет «информативность» точки - ее возможности детектируемости на фоне шума. Точки с «низкой информативностью» факти- чески являются помехами для задачи сопоставле- ния точек между изображениями, которые могут вести к неверному принятию решения. Чтобы удалить такие точки, предлагается использование наиболее информативных точек. Процедура их определения следующая. Первоначально выбира- ется малое значение порога, которое гарантирует областях изображения. После удаления неинфор- мативных точек на однородных по яркости обла- стях практически отсутствуют реперные точки. После удаления неинформативных точек про- водятся сопоставление точек и одновременное вычисление параметров проективного преобра- зования по методу RANSAC [3]. На первом изображении выбирается случай- ным образом четыре точки. На втором изобра- жении формируются все возможные сочетания из имеющихся точек, то есть в рассматриваемом распознавание большого числа точек. У каждой примере N C 4 . Каждому такому сочетанию будут точки есть параметр, который сравнивается с по- рогом. Точки сортируются в соответствии с этим параметром. N точек с наибольшим значением параметра являются наиболее информативными и будут использованы на следующем этапе обработ- ки (примечание: в представленном примере N = 40). На рисунке 2 показан пример обработки изо- бражения. Первоначальное количество реперных точек равнялось 118, и многие из них были рас- познаны на практически однородных по яркости соответствовать свои параметры проективного совмещения. В случае если преобразование правильное, то будет наблюдаться значительное совпадение ре- перных точек. В случае если преобразование не- верное, то число совпадений будет мало. Число совпадений реперных точек используется в каче- стве метрики для выбора преобразования. На рисунке 3 представлены примеры верного и неверного преобразования с указанием метрики. Рисунок 4. Блок-схема разработанного алгоритма Как можно видеть из рисунка 3, наибольшее зна- чение метрики соответствует верному совмеще- нию изображений. A11 i i  W 2 (x y ); i 22  A  Z 2 i (xi yi ); Повышение точности совмещения с использованием алгоритма Lucas-Kanade В ходе эксплуатации происходит динамиче- ское воздействие (вибрация) на измерительные системы. Это приводит к небольшим искаже- ниям, которые можно устранить прецизионным совмещением. Для этой цели на изображении распознаются реперные точки, в окрестности ко- A12  A21  W (xi yi )Z (xi yi ), i B1  -(I (xi yi )W (xi yi ) - J (xi yi )Z (xi yi )), i B2  -(I (xi yi )Z (xi yi ) - i W (xi yi ) - J (xy)W (xy)), а также W (xy)  I (xi 1 , yi ) - I (xi yi ) , xi 1 - xi торых вычисляются плоскопараллельные смещения по алгоритму Lukas-Kanade [10]. Z (xy)  I (xi , yi 1 ) - I (xi yi ) . Математически алгоритм Lukas-Kanade опи- сывается следующим образом: I (xi yi )  S (xi yi )  k (xi yi ), J (xi yi )  S (xi  h, yi  p)  m(xi yi ), yi 1 - yi После оценки смещений проводится повтор- ный расчет параметров преобразования. Такой способ повышения точности совмещения может быть использован для многокамерных систем, где I (xi yi ), J (xi yi ) - совмещаемые изображения; получающих изображения в одном и том же спекh, p - смещения вдоль оси x и y соответственно; тральном диапазоне. k (xi yi ), m(xi yi ) - реализации шума; S (xi yi ) - эталонный сигнал. Решение получается путем разложения функ- Итоговый алгоритм На рисунке 4 показана блок-схема разработанции I (xi yi ) в ряд Тейлора в точке (xi  h, yi  p). ного алгоритма. Параметры h и p будут являться корнями системы линейных уравнений:  A11h  A11 p  B1 ,   A1h  A22 p  B2 , где Результаты апробации На рисунке 5 представлены результаты со- вмещения изображений телевизионной каме- ры и телевизионной камеры, установленной на а б в Рисунок 5. Совмещение изображений подстилающей поверхности: а - изображение телевизионной системы; б - изображение тепловизионной системы; в - результаты совмещения а б в Рисунок 6. Совмещение изображений многокамерной системы: а - изображение телевизионной системы с первой камеры; б - изображение телевизионной системы со второй камеры; в - результат совмещения летательном аппарате. Такое совмещение данных позволяет восстановить информацию в том слу- чае, если телевизионная камера не может фикси- ровать изображение из-за тумана или облачности. На рисунке 6 представлены результаты со- вмещения изображений многокамерной системы видеонаблюдения для обеспечения безопасности охраняемого периметра. Такое совмещение по- зволяет формировать изображение в одном окне оператора и уменьшить объем сохраняемых дан- ных за счет удаления дублирующей информации, содержащейся в одинаковых фрагментах совмещаемых изображений. Заключение В статье представлен алгоритм проективного совмещения телевизионных сигналов методом RANSAC для промышленных систем техниче- ского зрения. По сравнению с существующими алгоритма- ми проективного совмещения разработанный ал- горитм обладает следующими достоинствами: ограничение на искажение совмещаемых изображений в значительной степени меньше, чем в алгоритме [1]; нет необходимости распознавания замкнуто- го базового контура с реперными точками, как в алгоритме [2; 4]; использование алгоритма RANSAC позволя- ет валидировать сопоставление реперных точек без использования специальных процедур про- верки, как в алгоритмах [5; 6].

About the authors

A. A Diyazitdinova

Povolzhskiy State University of Telecommunications and Informatics

Email: a.miftahova@psuti.ru
Samara, Russian Federation

References

Supplementary files