Modelling the correlation measuring instrument of an independent-device velocity vector

Full Text

Задача измерения вектора движения по динамическим составляющим формируемых изображений находит широкое применение в различных технических областях. Восстановление смазанных движением изображений методом деконволюции, автоматическая стабилизация изображений с использованием контроля смещений, алгоритмы сжатия и кодирования видео на основе временной декорреляции кадров, управление движением автономных роботов, автономная навигация беспилотных летательных и космических аппаратов - вот далеко не полный перечень таких областей. Существует большое разнообразие методов и технических средств решения данной проблемы [1]. В общем виде оценка движения локальных областей изображения и отдельных точек решается с помощью уравнения оптического потока [3]. Для условия неизменности освещенности сцены за время анализа это уравнение имеет вид , где - пространственный градиент яркости в точке (x, y); - вектор скорости оптического потока. Если предположить, что в окрестности каждой точки изображения значение оптического потока одинаково, то можно записать основное уравнение оптического потока для всех пикселей окрестности и решить полученную систему для всех пикселей окрестности методом наименьших квадратов, как это сделано в алгоритме Лукаса - Канаде [4]. Однако точность оценки скорости движения в этом случае невелика. Использование локальных областей (блоков, эталонов) лежит в основе большого класса корреляционно-экстремальных систем (КЭС). Работа таких систем основана на выделении информативного объекта слежения и дальнейшем поиске его положения в процессе движения с помощью коррелятора [5-7]. Отметим, что КЭС не позволяют измерять скорость при движении как в прямом, так и в обратном направлении. Для реализации такой функции требуется два коррелятора, один из которых работает в прямом, а другой - в обратном направлении. Существует также группа методов, основанных на анализе пространственных частот, осуществляющих пространственную фильтрацию элементов изображений с помощью специальных оптических фильтров - модуляторов потока излучения различными модулирующими решетками (растрами), расположенными в фокальной плоскости датчика [7]. Все приведенные методы обладают общим недостатком: они не позволяют определять полный вектор движения в пределах 0-360°, а их диапазон измерений и точность определяются конструктивными особенностями и не могут адаптивно изменяться. Из всего перечисленного множества задач рассмотрим те, которые требуют оценки глобального движения, когда вектор движения элементов изображения одинаков для всех точек. Такое условие имеет место при равномерном движении автономного аппарата со скоростью и медленном повороте, когда за время формирования изображений вращением можно пренебречь. При этом изображение подстилающей поверхности перемещается в фокальной плоскости объектива, где установлена видеокамера, в противоположную сторону со скоростью , (1) где F - фокусное расстояние объектива; H - высота над поверхностью. Измерение вектора скорости движения изображения позволяет определить и вектор скорости аппарата. Пусть видеокамера формирует последовательность кадров полутоновых изображений движущейся сцены с межкадровым периодом и временем экспозиции . Примем в первом приближении, что освещенность сцены достаточна, мало и смазом изображения за время экспозиции можно пренебречь. Тогда все элементы кадров, кроме краевых, сдвигаются на величину , а скорость движения изображения равна , (2) где N - число кадров, между которыми определяется сдвиг. Если вычислить функцию взаимной корреляции между соседними кадрами, то смещение положения ее главного корреляционного максимума (ГКМ) относительно центра корреляционной плоскости определит вектор сдвига . По формулам (1, 2) можно определить вектор скорости движения изображения и автономного аппарата. Корреляционные методы относятся к одним из самых точных методов определения параметров движения яркостных объектов. Точность корреляционных методов определяется в первую очередь точностью нахождения положения экстремума корреляционной функции. Однако решение задачи напрямую сопряжено с рядом трудностей: очень большим объемом вычислений и наличием краевого эффекта. Размер корреляционной плоскости в четыре раза превышает размер исходного изображения, и, следовательно, при размерности изображения LxL при корреляционном сопоставлении соседних кадров необходимо выполнить расчетов коэффициента взаимной корреляции по формуле . (3) Заметим, что общее число операций сложений и умножений целых чисел при L=256 составляет , что существенно усложняет расчеты по формуле (3) для систем реального времени. Последнее обстоятельство не позволяет непосредственно применять вычисление корреляции в бортовых системах обнаружения и навигации, работающих в реальном времени с полутоновыми или многозональными изображениями. Поэтому во многих случаях идут на упрощение ради повышения быстродействия, что приводит к некоторой потере эффективности обнаружения. В частности, осуществляют преобразование полутоновых изображений в двоичные (бинарные) путем пороговой обработки: B(i, j) = 1, если B(i, j) T; B(i, j) = 0, если B(i, j) <T, где T - порог бинаризации. Отметим, что порог T может быть как фиксированным, соответствующим средней яркости всего изображения, так и адаптивным, формируемым скользящим окном определенного размера. Адаптивная бинаризация применяется для обработки изображений со сложной структурой фона и учитывает яркостные характеристики локальных участков изображения. Бинарные изображения являются массивами логического типа, для обработки которых целесообразно использовать логические функции. Поскольку перемножение однобитовых чисел сводится к простой логической операции «И», объем вычислений значительно сокращается, что позволяет вести обработку бортовыми средствами (программными или аппаратными) в реальном масштабе времени. Переход к изображениям логического типа позволяет при расчете корреляционной функции использовать более простые метрики сравнения, основанные на логических функциях: . (4) При движении на соседний кадр «наползают» новые области, которых нет на предыдущем, что снижает ГКМ. Поэтому необходимо провести оценку эффективности корреляционного обнаружения. Численная оценка потерь эффективности обнаружения при различных уровнях зашумления и освещенности текущих изображений осуществлялась методом математического моделирования на реальных спутниковых изображениях земной поверхности с помощью пакета Image Processing Toolbox системы Matlab. Использовались две модели расчета взаимной корреляции: классическая - модель K на основе формулы (3) и логическая - модель L на основе формулы (4). Для оценки эффективности обнаружения применялись распространенные в системах навигации параметры: вероятностей правильного обнаружения Ppo и ложной тревоги Plt [8]. Чтобы оценить искомые вероятности, надо выбрать порог Ppor, по которому проводится обнаружение. При увеличении порога растет вероятность пропуска цели, а следовательно, уменьшается вероятность правильного обнаружения. Вместе с тем уменьшается и вероятность ложной тревоги. Критерий Байеса применительно к задачам обнаружения позволяет выбрать оптимальный порог из условия минимизации риска пропуска цели и ложной тревоги. Часто на практике используют более прагматичный подход к выбору порога, известный как критерий Неймана - Пирсона [8]. Порог выбирается исходя из допустимого уровня ложной тревоги. В задачах навигационной привязки допустимым считается значение Рlt не выше 10-4-10-5 [9]. В качестве критерия эффективности обнаружения в этом случае используется вероятность правильного обнаружения Рpo при заданном уровне вероятности ложной тревоги Рlt. Автокорреляционные (АКФ) и взаимно-корреляционные функции (ВКФ) изображений подстилающей поверхности, формируемые оптико-электронными телескопическими комплексами космических аппаратов дистанционного зондирования Земли, кроме главного корреляционного максимума ГКМ содержат и другие пики меньшей амплитуды - боковые максимумы БМ. В общем случае БМ может быть несколько. Если сравниваются не полностью идентичные изображения, а отчасти похожие, либо если одно из них искажено шумами, проективными помехами, масштабными преобразованиями или поворотом и т. п., то их корреляционное поле будет состоять из двух составляющих: АКФ идентичных частей; ВКФ различных частей. Наличие составляющей ВКФ приводит в общем случае к уменьшению и уплощению пика ГКМ, росту БМ, которые становятся соизмеримыми с ГМ и могут превысить его значение (рис. 1). Для оценки параметров обнаружения проведено компьютерное моделирование с использованием метода Монте-Карло [10]. Производились статистические испытания алгоритмов корреляции путем организации циклического многократного их запуска. Испытания проводились для двух взаимоисключающих условий: - условие А: текущее изображение ТИ априори содержит область эталонного изображения ЭИ с известными координатами; - условие Б: ТИ не содержит фрагментов ЭИ. Для условия А известно точное положение ЭИ на ТИ. В качестве зоны обнаружения ЗО была выбрана область 5×5 пикселей с координатами в центре области на ТИ, соответствующей эталонной. Тогда условия обнаружения можно записать в следующем виде: - координаты ГКМ принадлежат центру ЗО; - ГКМ > Рpor, где ГКМ - главный корреляционный максимум, фиксируемый в эксперименте; Рpor - порог обнаружения, полученный из условия Рlt < 10-5. Рис. 1. Влияние шумов на корреляционный пик (рисунки совмещены по уровню 0,5) Вероятность правильного обнаружения вычислялась как отношение числа верных привязок по условию обнаружения к общему количеству циклов (равному 1000) на различных уровнях зашумления изображений. Собственные шумы видеодатчика моделировались путем наложения на исходное ТИ нормально распределенного гауссова белого шума с математическим ожиданием m = 0 и дисперсией v, изменяемой в пределах от 0,3 до 0,0013. При этом отношение сигнал/шум, обозначаемое SNR и получаемое как отношение числа неискаженных пикселей к числу искаженных, изменяется в пределах от 2 до 30. Вероятность ложной тревоги Plt и соответствующее значение Ppor могут быть получены из формулы [8]: , где - функция Лапласа; . Математическое ожидание сигнала на корреляционном поле и его среднеквадратическое отклонение вычисляются программно для условия Б. При значениях получаем . Это значение порога далее используется для оценки вероятности правильного обнаружения. Результаты компьютерного моделирования представлены на рис. 2. На следующем этапе моделирования проводилось корреляционное сопоставление кадров динамических изображений с учетом полученного значения порога обнаружения. Для моделирования использовался видеоряд, полученный с низкоорбитального спутника дистанционного зондирования Земли. Оказалось, что непосредственное вычисление коэффициента корреляции между соседними кадрами малоэффективно. Компьютерное моделирование, проведенное авторами, позволяет сделать вывод, что уже при ГКМ падает ниже порога обнаружения, а радиус корреляции возрастает до 912 пикселей, что делает затруднительным надежное и точное определение межкадрового сдвига в широком диапазоне. Рис. 2. Зависимость вероятности правильного обнаружения Рpo от отношения сигнал/шум SNR при условии Рlt < 10-5: 1 - модель K, полутоновое изображение; 2 - модель K, бинарное изображение; 3 - модель L , бинарное изображение Авторами был предложен так называемый разностно-корреляционный метод измерения [2]. Согласно этому методу корреляционное сравнение осуществляется не между соседними кадрами и , взятыми в моменты времени и , а между их разностями, вычисленными следующим образом: , если ; в противном случае, где - значение порогового уровня. В этом случае из трех последовательных кадров можно получить два разностных бинарных изображения логического типа и . Выбор порога здесь не столь критичен, как при яркостной бинаризации исходных изображений. Чтобы проиллюстрировать суть метода, проанализируем АКФ и ВКФ полученных изображений. Поскольку разностные изображения и сильно коррелированы, то для их суммы справедливо следующие соотношение: . Первые два слагаемых определяют основную форму и абсолютный максимум AKФ в центральной точке, вторые два слагаемых дают локальные максимумы для и , смещенные соответственно влево и вправо относительно центра АКФ на величину Δ. Расстояние между ними равно 2Δ, и его измерение может быть использовано в формуле (2) для определения скорости движения изображения, однако в силу симметрии АКФ возникает проблема неоднозначности при определении направления вектора скорости (его начала и конца). Рис. 3. Три последовательных кадра движущейся подстилающей поверхности (внизу показаны межкадровые разности и а б Рис. 4. а - сечение в плоскости, совпадающей с вектором движения; б - корреляционные пики в плоскости корреляции Проблема неоднозначности решается при вычислении , имеющей два пика, один из которых расположен всегда в центре и соответствует начальной точке вектора, а второй - конечной точке, как показано на рис. 4 б. Как показало моделирование, вычисление достаточно для однозначного определения направления и модуля вектора поскольку позволяет найти положение второго пика относительно центра корреляционной плоскости. В этом случае отпадает необходимость суммирования разностных изображений, что упрощает задачу. При этом начало вектора сдвига всегда расположено в центральной точке, а его конец совпадает с положением ГКМ в случае превышения им порога обнаружения. Таким образом, разностно-корреляционный метод позволяет определить полный вектор движения в пределах 0-360°. Компьютерное моделирование показало, что использование разностных изображений значительно уменьшает деградацию ГКМ, радиус корреляции уменьшается до 3-4 пикселей, а диапазон измерений, посчитанный с учетом порога обнаружения, увеличивается до . Исследования также показали, что существенное снижение количества операций при вычислении корреляционной функции может быть достигнуто при использовании рекурсивно-пирамидального подхода [11]. На предварительном этапе формируются пирамиды из M изображений, каждое из которых получается из предыдущего путем фильтрации и прореживания в два раза. Обозначим изображение текущего уровня , тогда изображение следующего уровня формируется путем уменьшения размеров в 2 раза и высокочастотной фильтрации с ядром функции Гаусса: . В этом случае согласно теореме Котельникова сжатие происходит с минимальной потерей информации. На верхнем уровне пирамид находятся изображения с наиболее грубым разрешением. Разностные изображения этого уровня используются для грубой оценки движения. Если движение имеет место, то при минимально допустимом пороге число единичных пикселей в разностном изображении превышает некоторый «шумовой» уровень. В этом случае производится грубая оценка положения ГКМ и осуществляется переход на следующий уровень, на котором зона поиска существенно сокращается благодаря информации о положении ГКМ предыдущего уровня. По нашим оценкам, такое сокращение составляет величину порядка . Чем выше разрешение текущего уровня, тем точнее определяются координаты ГКМ, поэтому существует возможность адаптации системы под заданную точность измерений [12, 13]; кроме того, рекурсивная процедура последовательного поиска существенно снижает вероятность перепутывания ложных корреляционных максимумов с главным максимумом. Проведенные исследования показали перспективность использования разностно-корреляционного метода измерений в сочетании с метрикой сравнения, основанной на логических функциях. Достоинствами метода являются расширение измерительного диапазона и увеличение точности измерений. На точность измерений влияет выбор порогового значения . В компьютерной модели порог менялся в диапазоне от 0,01 до 0,35 максимальной яркости. Для увеличения точности при низких скоростях в адаптивной системе следует уменьшать порог , а при больших - увеличивать. Использование пирамидальной структуры изображений позволяет осуществить адаптацию системы под заданную точность, а рекурсивная процедура поиска ГКМ существенно сокращает вычислительную сложность алгоритма.

About the authors

Vyacheslav P Sviridov

Samara State Technical University

(Ph.D. (Techn.)), Associate Professor 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

Yury N Lazarev

Samara State Technical University

Postgraduate student 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

References

Supplementary files