Алгоритм уточнения углов поворота и наклона камеры на летательный аппарат по записанному видео

Полный текст

Введение

Основным методом определения положения летательного аппарата в пространстве является использование систем спутниковой навигации [1]. В настоящее время их использование для проведения траекторных измерений на территории аэродромов по ряду причин невозможно [2]. Инерциальные навигационные системы, которые на данный момент используются вместо спутниковых, при длительных полётах накапливают значительную ошибку [3]. Помимо этого, для проведения такого рода измерений необходима установка дополнительного оборудования непосредственно на летательный аппарат, что не всегда возможно по юридическим или техническим соображениям, например, при использовании малогабаритных беспилотных летательных аппаратов с ограниченной полезной нагрузкой [4].

Одним из вариантов решения данной проблемы является использование оптических систем [5–7], таких как кинотеодолиты [8], для расчёта положения летательного аппарата по углам азимута и места с двух измерительных пунктов [9] (двухпунктный пеленгационный способ, представлен на рис. 1).

 

Рис. 1. Суть угломерного или пеленгационного способа определения координат

Fig. 1. Direction finding model

 

Однако практически не представляется возможным безошибочно следить за движением летательного аппарата. При ручном слежении за целью основное влияние на результат слежения оказывают ошибки оператора. Например, оператор не может идеально держать быстро движущийся объект в центре кадра из-за достаточно высокого времени реакции человека. Также оператор может допускать промахи из-за человеческого фактора.

Использование алгоритмов компьютерного зрения несколько упрощает задачу, но не решает проблему полностью. Яркостно-контрастные алгоритмы компьютерного зрения крайне чувствительны к погодным условиям и посторонним объектам в кадре [10]. Более продвинутые алгоритмы, основанные на машинном обучении, могут достаточно эффективно решать эту задачу, однако они требуют больших вычислительных мощностей и наличие большой обучающей выборки для каждой отдельной модели летательного аппарата, отслеживание которого планируется. Соответственно, разработка подобных алгоритмов для проведения небольших испытаний является экономически невыгодной.

Помимо этого, даже при наличии безошибочного алгоритма компьютерного зрения, принципиально невозможно решить проблему того, что поворотно-наклонный механизм имеет ограниченную скорость вращения. При этом не всегда имеется возможность использовать максимальную скорость вращения, даже если поворотно-наклонный механизм это позволяет. Камера, установленная на нём, может иметь значительный вес [11], что при резкой смене скорости может привести к выходу из строя поворотно-наклонного механизма.

Одним из решений может служить алгоритм покадровой послеполётной обработки, где оператор, не ограниченный временными рамками и физическими характеристиками измерительного комплекса, может с точностью до пикселя [12] указать положение летательного аппарата и уточнить углы поворота и наклона камеры относительно центра кадра [13].

Описание алгоритма

Суть послеполётной обработки заключается в следующем.

Оператор, проводящий послеполётную обработку, просматривает кадры записанного видео полёта. Оператор перемещается на кадр (рис. 2), соответствующий нужному моменту времени, наводит курсор на определённую точку летательного аппарата, по которой было решено проводить траекторные измерения, и нажатием кнопки мыши запускает работу алгоритма, который скорректирует углы визирования летательного аппарата.

 

Рис. 2. Примерная схема кадра при послеполётной обработке

Fig. 2. Frame structure during post-flight processing

 

Поскольку при проведении послеполётной обработки разрешение монитора оператора, размер области отображения кадра и соотношение сторон, в отличие от исходного видео, могут меняться, необходимо учитывать этот факт и не привязываться к разрешению в пикселях, а работать относительно углов обзора по горизонтали и вертикали.

Программные интерфейсы, позволяющие получить текущее положение указателя мыши, возвращают его относительно левого верхнего угла области отображения [14]. Но поскольку углы визирования цели для каждого кадра задаются относительно его центра, необходимо выполнить преобразование координат указателя мыши. Положение указателя мыши относительно центра кадра может быть вычислено по следующей формуле:

$\begin{array}{c}{x}_{center}=x_{topleft}-\frac{w}{2},\\ y_{center}=\frac{h}{2}-y_{topleft},\end{array}$

где $x_{topleft}$ и $y_{topleft}$ – положение указателя мыши относительно верхнего левого угла кадра; w и h – общее количество пикселей в кадре по ширине и высоте соответственно.

Теперь необходимо перейти от линейного представления в пикселях к угловому в градусах или радианах. Для этого разделим кадр на квадранты. Оси, обозначающие ширину и высоту кадра, примем равными одному углу раствора по горизонтали и вертикали соответственно. Следовательно, точки по этим осям будут принимать координаты в промежутке от –0,5 до +0,5. Таким образом, мы избавляемся от необходимости знать разрешение исходного видео, чтобы посчитать цену пикселя в угловой мере. Коэффициенты линейного смещения цели относительно центра кадра могут быть вычислены по следующей формуле:

$\begin{array}{c}{w}_{coeff}=\frac{x_{center}}{w}=\frac{x_{topleft}}{w}-\frac{1}{2},\\ h_{coeff}=\frac{y_{center}}{h}=\frac{1}{2}-\frac{y_{topleft}}{h}.\end{array}$

Получить угловое смещение цели относительно центра кадра можно, умножив углы раствора объектива на соответствующие им полученные ранее коэффициенты:

$\begin{array}{c}{a}_{offset}=h_{FOV}\times w_{coeff},\\ e_{offset}=v_{FOV}\times h_{coeff},\end{array}$

где $h_{FOV}$ и $v_{FOV}$ – горизонтальный и вертикальный углы раствора объектива соответственно.

Теперь для получения уточнённых углов поворота и наклона камеры на летательный аппарат необходимо прибавить полученное угловое смещение к углам центра кадра.

$\begin{array}{c}{a}_{t\arg et}=a_{center}+a_{offset},\\ e_{t\arg et}=e_{center}+e_{offset}.\end{array}$

Заключение

Рассмотренный алгоритм может быть использован при проведении траекторных измерений для повышения точности [15] расчётов положения летательного аппарата. На рис. 3 представлен пример программы послеполётной обработки, использующей данный алгоритм. Помимо этого, данный алгоритм может использоваться в системах с неподвижными широкоугольными камерами как основной способ определения углов визирования на летательный аппарат. Такая система может быть применена для измерений диаграмм направленности бортовых антенн самолёта. Однако при использовании широкоугольных камер необходимо обязательно учитывать дисторсию объектива.

 

Рис. 3. Послеполётная обработка траекторных измерений МС-21

Fig. 3. Post-flight processing of Yakovlev MC-21

 

Основным недостатком данного алгоритма является необходимость вручную указывать положение летательного аппарата для каждого кадра, что делает его применение для длительных полётов трудозатратным. Одним из способов решения данной проблемы может быть выборка только ключевых кадров через определённый интервал времени (например, 2 раза в секунду) в зависимости от требований, указанных в техническом задании. В качестве альтернативы, для автоматизации процесса покадровой обработки, также могут быть использованы более ресурсоёмкие алгоритмы компьютерного зрения, которые не могут быть задействованы в режиме реального времени, но пригодны при отсутствии временных ограничений на обработку одного кадра, поскольку речь идёт о послеполётной обработке записанного видео.

Основным достоинством данного алгоритма является возможность получения максимально возможной точности при проведении траекторных измерений кинотеодолитами, поскольку при покадровой обработке имеется возможность стабильно получать углы одной и той же точки летательного аппарата.

Об авторах

Данил Леонидович Никифоров

Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева

Email: nikiforov-danil1997@yandex.ru
ORCID iD: 0009-0004-8238-3427

аспирант

Россия, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Сергей Николаевич Ефимов

Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева

Автор, ответственный за переписку.
Email: efimov@bk.ru
ORCID iD: 0000-0002-4506-3510

кандидат технических наук, доцент, доцент кафедры информационно-управляющих систем

Россия, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

Список литературы

Дополнительные файлы