ИЕРАРХИЧЕСКИЙ МЕТОД ПОИСКА СООТВЕТСТВУЮЩИХ ТОЧЕК НА СТЕРЕОИЗОБРАЖЕНИЯХ

Полный текст

Поиск соответствующих точек на изображениях является фундаментальной задачей в ряде прикладных областей, а именно: 1) при построении корреляционно-экстремальных систем навигации и систем наведения по изображениям целей; 2) при обработке космических и аэрофотоснимков (фотограмметрия, картография, экологический мониторинг земной поверхности); 3) при создании систем технического зрения, которые, в частности, выполняют задачи определения параметров движения объектов и их трехмерной реконструкции. В статье рассматривается новый иерархический метод поиска соответствующих точек на изображениях для задач трехмерной реконструкции. В качестве изображений могут выступать стереопары или совокупность соседних кадров видеопоследовательности. Обычно методы поиска и оценки соответствий на стереопарах включают три этапа: - нахождение точечных особенностей, углов, пересечений и других геометрических примитивов на изображении; - составление вектора признаков особенностей. Такой вектор должен быть устойчивым к шуму, геометрическим искажениям и изменениям освещенности; - оценка соответствия изображений. В простейших случаях используется евклидова метрика или вычисляется расстояние Махаланобиса. Задача поиска соответствий достаточно сложна и, как правило, выполняется при упрощающих предположениях. Обычно в качестве моделей изображения и шума используются нормальные случайные поля, однако такое допущение не всегда обосновано, поскольку локальная статистика даже в пределах одного кадра является вариабельной. Практическое использование таких оценок ограничено модельными сценами, обработка в режиме реального времени невозможна. Другим подходом является использование матрицы Гессе вторых производных от функции яркости фрагмента изображения [1]. Пусть на изображении I задана точка Р с координатами (x, y). Тогда матрица Гессе H(P, ст) в точке P с учетом среднеквадратического отклонения ст определяется как " Lxx ( P, ст) Lxy (P, ст)' Н(Р ст) = Lyx (P СТ) Lyy PР , СТ) (1) yx yy где Lxx(P, ст) - свертка второй производной гауссиана с изображением Ip в точке P: д 2 Lxx (Р ст)=д~Т g (Р )• IP . (2) Аналогично выражению (2) вычисляются остальные элементы матрицы (1). При этом вводится неявное предположение об изотропности и некоррелированности возмущений (шумов) по обеим координатам. Вычисление матрицы Гессе выполняется для каждого пиксела и требует существенных вычислительных ресурсов. Однако шум на изображениях, как правило, не является изотропным (например, при перспективных искажениях), а также в качестве критериальной функции соответствия было бы желательно использовать не производные яркости изображения, а 62 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева локальные структуры (например, точечные особенности [2]). Постановка задачи. Рассмотрим задачу оценки соответствия точек на стереопарах или на последовательностях изображений с учетом аффинных искажений. Примем, что необходимая информация извлекается из локальной структуры окрестностей точек. Пусть соответствие точек ищется на двумерной плоскости, что характерно для обработки последовательности кадров, полученных от одной видеокамеры, или стереопар, снятых некалиброванными видеокамерами, когда нельзя использовать эпиполярные ограничения для поиска соответствия по эпиполярным линиям. Известен алгоритм оценки точности установления соответствия, использующий в качестве критериальной функции соответствия полином второго порядка по девяти пикселам (окрестность 3x3) [3]. Начало локальной системы координат помещается в точку, соответствующую экстремальному значению критериальной функции. Шаг сетки считается равным 1. Квадратичный полином имеет вид F = ax2 + by2 + cxy + dx + ey + g . В статье [3] ищутся значения критериальной функции в точках 0, 1, 2, ..., 8, окружающих центральный пиксел. Алгоритм строится на предположении, что некоторую информацию о структуре матрицы производных малых возмущений можно получить, оценивая возмущения критериальной функции относительно аппроксимирующего полинома во всех восьми точках окрестности по корреляционной матрице ( 2 / \Л C = ст x cov ( y) Icov (x, y) ст2 , ’ где стx, сту - среднеквадратические отклонения по осям OX, OY; cov(x, y) - ковариация производных ошибок аппроксимации по обеим координатам (по восьми точкам окрестности). Однако данный метод основан на исследовании локальных структур с субпиксельным разрешением. При этом локальная структура ассоциируется с единственным (центральным для исследуемой области) пикселом изображения. Чаще для оценки соответствия точек на стереопарах используют глобальные оценки с применением алгоритма RANSAC (Random Sampling Consensus) [4]. Алгоритм RANSAC отделяет точки интереса от шумовых выбросов. В общем случае не существует способа предсказания, какая точка является шумом, а какая нет. Алгоритм RANSAC построен на методе случайного перебора некоторого количества выборок из исходных данных. По каждой выборке оцениваются параметры а0, ..., an. Предполагается, что значение функции F(a0, ., an, 9) достигает экстремума при гипотезе 9, оцененной по выборке, не содержащей шумовых выбросов. Каждая выборка строится случайным образом, т. е. из набора исходных данных последовательно выбирается некоторое количество точек. Каждая из точек набора ис ходных данных берется с равной вероятностью. Для максимизации вероятности построения выборки без выбросов размер выборки H берется минимально необходимым для оценки параметров модели. Основное ограничение алгоритма RANSAC заключается в том, что для оценки параметров модели требуется заранее знать параметры распределения шума в исходных данных. В случае если параметры распределения шума заранее узнать не удается, то можно воспользоваться модификацией данного метода, предложенного А. Конушиным [5]. Алгоритм AMLESAC (Adaptive Maximum Likelihood Estimation Sampling Consensus) основан на общей схеме грубой оценки параметров на основе случайных выборок, однако он дает оценку максимального правдоподобия гипотезы с одновременным вычислением параметров шума в исходных данных. Алгоритм поиска вектора параметров модели с наибольшим правдоподобием опирается на предположение, что исходные данные представляют собой смесь двух выборок. Первая выборка состоит из точек, удовлетворяющих исследуемой модели. Для таких точек ошибка согласования с моделью удовлетворяет нормальному распределению. Вторая выборка состоит из шумовых выбросов, распределенных по нормальному закону. Введем понятия точечной особенности, следа точечной особенности, соответствия особенностей. Точечная особенность Po - это такая точка изображения, чья окрестность отличается от окрестностей близлежащих точек Pi на некоторую величину е, при этом функция близости окрестностей по некоторой мере p(QPi, QPo) > е, где Q - окрестность точки [2]. Пусть задана последовательность положений точечной особенности (Po'}, i = nb, ne , где i - номер кадра; nb, ne - начальный и конечный кадры соответственно, на которых обнаружена точечная особенность. Такая последовательность положений называется следом точечной особенности. След точечной особенности считается корректным, если существует совокупность проекций некоторой точки сцены на набор кадров исходной последовательности. Обнаружение следов точечных особенностей усиливает предполагаемое соответствие между изображениями и набором точечных особенностей сцены. Соответствием (matching) называется пара точек Р, Р+1 на изображениях Ij, Ij+ь которые соответствуют одной и той же точечной особенности Po. В общем случае любая пара точек из следа точечной особенности является соответствием. Соответствие (Р„ P,+i) корректно, если существует точка трехмерной сцены, проекции которой - точки (Pt, Pi+1). Существуют два основных подхода к поиску соответствий на изображениях. Первый подход базируется на методах сопоставления точечных особенностей. В простейшем случае используется метод последовательного перебора всевозможных пар особенностей Pi, Pi+1 на изображениях Ij, Ij+1 для поиска наиболее близких (в смысле выбранной метрики) точечных особенностей. Второй подход использует отслежива- 63 Математика, механика, информатика ние особенностей, когда для каждой точечной особенности Pi изображения Ij на изображении 1j+1 ищется точка Pi+i, наиболее близкая к точке Pi в соответствии с выбранной метрикой. Обычно для поиска точки Pi+1 используется алгоритм Лукаса-Канаде, в основу которого положен итеративный алгоритм на основе метода градиентного спуска. Понятно, что для поиска соответствий на стереопаре целесообразно применение первого подхода, так как количество изображений ограничено двумя изображениями, полученными как от калиброванной, так и неоткалиброванной видеокамеры в общем случае. Усовершенствуем метод поиска точечных особенностей на стереопаре, который позволит быстрее находить соответствия на имеющихся снимках. Иерархический метод поиска точечных особенностей. Предлагаемый иерархический метод поиска точечных особенностей на стереопарах можно разделить на два этапа. На первом этапе происходит извлечение и сопоставление точечных особенностей, второй этап предназначен для повышения устойчивости выявленных сопоставлений. Извлечение и сопоставление точечных особенностей. Алгоритм SURF (Speed Up Robust Features), впервые предложенный Г. Бэем в 2008 г. [1], основан на использовании интегральных изображений и вычислении взвешенного определителя матрицы Гессе. При построении дескриптора точечных особенностей применяются двумерные вейвлеты Хаара. Основным преимуществом алгоритма SURF является быстрота работы в сочетании с инвариантностью к масштабу и вращению изображения, а также небольшим изменениям освещения. Поскольку изображения, полученные неоткалиброванными камерами, имеют проективные искажения, для сопоставления точечных особенностей требуются методы, устойчивые к ним. В данной статье предлагается алгоритм сопоставления точечных особенностей, использующий устойчивый к проективным искажениям дескриптор, описывающий точечные особенности. Пусть точечные особенности определены одним из известных способов [2]. Для достижения устойчивости вычислим направление градиента (GX, Gy) в окрестности Q особой точки размером (2k + 1)*(2k + 1) пикселов, используя оператор Собела: G = — = х дх -1 -1 -1 G = д1 = У ду -1 0 1 -1 -1 0 0 1 1 Однако оператор Собела применяется не непосредственно к исходному изображению, а к его гаус-сиану G;: д1 Gf= oJ1 Чем больше окрестность особой точки, тем точнее вычисляется направление градиента, однако при этом затрачивается больше вычислительных ресурсов. Фильтр Гаусса используется для устранения посторонних шумов на изображении и снижения влияния мелких деталей изображения на вычисление общего направления, для этого фильтр применяется с большим значением среднеквадратического отклонения с (как правило, с = 2). Тогда направление вектора градиента в любой точке окрестности вычисляется как © = arctan V G,y (3) (4) а длина градиента определяется по формуле g=Ш+(g;)2 . Используя выражения (3) и (4), найдем направление и длину обобщенного вектора по всей окрестности точечной особенности как сумму направлений и длин векторов градиентов во всех точках окрестности к количеству точек: k k S S ©(х0 + ^У0 + j) ©m i=-kj=-k (2k +1)2 - b k k S S G ( + ^ У0+j) ^ _ i=-k j=-k mean _ , 4 2 > (2k +1)2 - b где (х0, y0) - координаты точечной особенности; b - количество так называемых плохих точек окрестности, т. е. точек, в которых значения GX, Gy равны нулю. Также помимо направления обобщенного вектора по окрестности точечной особенности вычислим направления в окрестностях точек P1, P2, координаты (х, у) которых х = k • cos (© + а) + х0, у = k • sin (© + а) + у0, где 0 - направление особой точки; а - угол поворота; k - величина шага. Для окрестности точки P1 угол а выбирается равным л/2, а для окрестности точки P2 -3л/2. На примере показаны векторы направлений в окрестностях точечных особенностей (рис. 1). Рис. 1. Вычисление направлений в окрестностях особых точек Вычисление направления градиента в окрестности точечной особенности позволяет добиться устойчивости дескриптора к повороту, а вычисление двух до- 64 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева полнительных направлений требуется для достижения устойчивости к проективным преобразованиям. Следующий этап вычисления дескриптора - это приведение четырехугольной области, вершинами которой являются начала и концы дополнительных векторов, к прямоугольному виду и заданному размеру. Таким образом, получаются два выровненных сегмента изображения на левом L и правом R изображениях. Сравнение полученных областей производится с помощью нормализованной кросс-корелляции NCC: NCC = ■ 2 к +12 к +1 Z Z L (i,j)R j) i=0 j=0 1 (5) 2 к+1 • 2к +1 Далее для сопоставления всех найденных точечных особенностей строится матрица похожести размерностью N х M, где N - количество точечных особенностей левого изображения, а M - количество точечных особенностей правого изображения. Элементы матрицы представляют собой результат вычисления функции нормализованной кросс-корелляции (5). При этом минимальные элементы матрицы будут соответствовать наиболее похожим особым точкам. Следует учитывать, что одна особая точка на одном изображении может соответствовать только одной особой точке на другом изображении. Исходя из данного ограничения, построим алгоритм сопоставления точечных особенностей. Этапы алгоритма следующие. 1. Вычислить матрицу похожести. 2. Вычислить максимальный элемент матрицы. 3. Осуществить поиск минимального элемента матрицы: - если минимальный элемент равен максимальному элементу, тогда алгоритм прекращает свою работу; - если значение минимального элемента меньше максимального, тогда перейти к шагу 4. 4. Поставить в соответствие точки из множества дескрипторов особых точек с номерами, соответствующими номерам строки и столбца минимального элемента. 5. Установить значения элементов строки и столбца матрицы равными максимальному элементу и перейти к шагу 3. Данный алгоритм выполнятся до тех пор, пока не будут найдены все соответствия для особых точек. Преимущество алгоритма заключается в исключении из рассмотрения тех точек, для которых уже было найдено соответствие. Это приводит к сокращению лишних операций проверок и операций сравнения. Пример стереопары и построенного по ней векторного пространства точечных особенностей представлен на рис. 2. Для отсечения ложных сопоставлений предлагается использовать векторное пространство, в котором началом вектора является точка на левом изображении (рис. 2, а), а концом - соответствующая ей точка на правом изображении (рис. 2, б). Правильные соответствия в таком векторном поле (рис. 2, в) будут иметь определенную закономерность (определенную длину и направление), которой не проявляют ложные соответствия. Таким образом можно отсечь ложные сопоставления. Помимо отсечения ложных сопоставлений, векторное поле можно использовать для установления дополнительных соответствий. Поскольку известна закономерность соответствия особых точек, мы можем для тех точечных особенностей, которым не было найдено соответствие, произвести поиск в направлении полученных векторов соответствия. Таким образом можно увеличить количество сопоставленных точечных особенностей. Повышение устойчивости сопоставлений. После сопоставления особых точек требуется определить модель, с помощью которой вычисляются остальные соответствия на изображениях. В данном случае такой моделью будет некоторая матрица отображения точек одного изображения в точки другого. Оценка модели происходит следующим образом. 1. Устанавливаем некоторый критерий попадания в массив достоверных соответствий. 2. Случайным образом выбираем некоторое количество точек, достаточное для построения модели. 3. С помощью полученной модели вычисляем соответствия для остальных точек. 4. Для каждого вычисленного соответствия производим оценку его попадания в массив достоверных соответствий. 5. Повторяем шаги 2-4 заданное количество раз. 6. Выбираем модель с наибольшим количеством достоверных соответствий. а б в Рис. 2. Стереопара и построенное по ней векторное поле соответствий: а - левое изображение; б - правое изображение; в - поле соответствий 65 Математика, механика, информатика Предлагается новый алгоритм оценки попадания точки в массив достоверных соответствий. При этом в качестве модели используется аффинная модель и свойство аффинного преобразования, заключающееся в постоянном коэффициенте соотношения областей интереса. Разделим изображения стереопары на регионы с помощью сетки заданного размера, например 25 % от ширины и высоты изображения. Таким образом, изображение делится на 16 областей F, в каждой из которых случайным образом выбирается четыре соответствующие точки. Выбранные четыре соответствия используются для построения четырех треугольных областей. Обозначим область на левом изображении какA, а область на правом изображении - какA',. Для каждой пары из полученных треугольников вычислим соотношение ratio,-: ratio,- = —, i = 1,..., 4. (6) , A’ ’ ’ w Нормализация соотношений вида (6) производится путем их деления на максимальное значение из четырех для каждой из 16 областей: —:— ratio, ratio, =--—,--, i max (RATIO) RATIO = {ratio1, ratio2, ratio3, ratio4}, в результате чего итоговая величина соотношения ratioF по области F будет определена как ratioF = max RATIO)- min RATIO), RATIO = |ratio1, ratio2, ratio3, ratio4} . Если значение ratioF меньше некоторого заданного значения е, тогда все точки выбранного региона помечаются как достоверные особенности; в противном случае точечные особенности считаются недостоверными особенностями. Таким образом, наиболее достоверная модель определяется по наибольшему количеству достоверных точек. Экспериментальные исследования. Для тестирования разработанного метода дополнительно были произведены эксперименты с изображениями из базы данных Нистера и Стьюниса (D. Nister, H. Stewenius) [6], которая содержит по четыре изображения 2 550 объектов. Примеры изображений приведены на рис. 3. Рассчитывались точечные особенности для двух изображений одного и того же объекта. Затем программа генерировала примерные ракурсы третьего и четвертого изображений объекта и сравнивала положение точечных особенностей. Такая технология была использована для верификации разработанного программного продукта. Количество правильных соответствий и ложных срабатываний для метода последовательного перебора и иерархического метода приведены в таблице. Все изображения условно разделены на три группы: простые сцены, сцены средней сложности и сильно тек-стурированные сцены. По данным видно, что экспериментальные результаты для простых сцен и сцен средней сложности являются хорошими, но при этом иерархический метод работает на 20 % быстрее, чем метод последовательного перебора. Обработка сильно текстурированных сцен дает худшие результаты, но при этом время работы иерархического метода возрастает почти на 30 % по сравнению с методом последовательного перебора. Рис. 3. Примеры изображений из базы Нистера и Стьюниса Таким образом, представлен новый иерархический метод поиска соответствующих точек на стереопарах, позволяющий повысить устойчивость сопоставления, сохраняя при этом быстродействие метода, основанного на алгоритме SURF. Экспериментальные результаты поиска точечных особенностей Методы Метод последовательного перебора Ие рархический метод Сцены Правильные соответствия, % Ложные соответствия, % Условные операции, тыс. операций Правильные соответствия, % Ложные соответствия, % Условные операции, тыс. операций Простые сцены 76,4 23,6 0 6 3 8 (N 92,11 7,89 3 6 3 СО Сцены средней сложности 75,72 24,28 360...490 90,4 9,6 363.493 Сложные сцены 69,93 30,07 490...757 88,57 11,43 493.760 66 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева Экспериментальные результаты подтверждают работоспособность предлагаемого метода, быстродействие которого увеличивается на 20.25 % по сравнению с методом последовательного перебора, не ухудшая качества сопоставления точечных особенностей.

Об авторах

Маргарита Николаевна Фаворская

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева

Email: favorskaya@sibsau.ru
доктор технических наук, доцент, заведующий кафедрой информатики и вычислительной техники

Илья Владимирович Тупицын

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева

Email: toupitsyn@gmail.com
аспирант

Список литературы

Дополнительные файлы