Research of means of multiframes representation for application in systems of radiovision of sub-terahertz range

Full Text

Для построения систем радиовидения субтерагерцового диапазона необходимо решить несколько сложных технических вопросов, важнейшие из которых рассмотрены в работах [1, 2, 3, 4, 5]. Полученные в системе данные в конечном итоге должны быть представлены в виде радиоизображений. Однако из-за существенного различия оптических представлений об изображениях от картин, формируемых радиоотражением и радиопоглощением в миллиметровом диапазоне длин волн, должны быть выработаны методы удобного для человека представления и понимания данных радиовидения.

Для начала следует разобраться, что представляет собой кадр радиовидения, если его рассматривать без визуальной привязки к оптическому изображению сцены. Как правило, это пятна и полосы различного уровня, относящиеся к понятиям об интенсивности радиочастотной энергии, пришедшей на мишень (матрицу камеры) в виде сфокусированного пучка радиоволн, образованного отраженными либо прошедшими через объект радиолучами. Для матричных камер субтерагерцового диапазона именно этот параметр является информационным. Частотные и фазовые картины напрямую получить невозможно, что осложняет процессы обработки для восстановления формы и состава объектов в подобных системах.

Форма передачи данных как первичного кадра радиовидения не дает представления о месте и причинах вида полученной картины. Наблюдатель для анализа данных обязательно должен иметь информацию о месте, с которого получена данная картина радиоизображения, условиях радиоосвещения, поверхностях объектов, находящихся в наблюдаемой области.

Для решения задачи восприятия данных радиовидения наиболее удобным является применение мультикадрового представления, где кроме данных радиовидения используется информация, получаемая оптическими средствами видеофиксации и их совместная обработка. Для этого в комплексе кроме средств радиовидения должны присутствовать средства оптического наблюдения и средства обеспечения привязки кадров для их позиционирования.

В простейшем случае функцию оптической видеофиксации может выполнять видеокамера видимого диапазона. Непременным условием является поддержка режима реального времени для организации совместной обработки видеопотоков.

Рассмотрим и проанализируем методы мультикадровой визуализации применительно к решению поставленной задачи – фиксации изображения, полученного в формате радиовидения на визуальном кадре, отражающем оптическое изображение зоны наблюдения (сцены).

Наиболее простым решением задачи мультикадровой визуализации можно рассматривать использование совмещения кадров оптической и радио камер с их одновременным просмотром. Для этого необходимо иметь две камеры, которые одновременно фиксируют кадры одной и той же сцены и средства программной обработки, которые обеспечат вывод данных в формат одного окна после совмещения изображений. Однако на практике такое решение достаточно сложно реализуемо по ряду причин.

Во-первых, камеры при этом должны иметь близкие параметры оптических систем и форматов матриц. Но в настоящее время формат матриц камер для систем радиовидения значительно меньше, чем камер оптического диапазона. Неодинаковость числа пикселей и размеров не позволит приблизить параметры оптической и квазиоптической систем для одинаковой сцены.

Во-вторых, изображение радиовидения может восприниматься на общем кадре просто как артефакты и дефекты оптического изображения. Придется применять специальные меры для выделения объектов кадра радиовидения – маркировку, расцветку и т. д.

Второй вариант реализации мультикадрового представления – использование механизма «кадр в кадре», который целесообразен именно при значительной разнице в форматах приемных матриц камер. В этом случае основным кадром является видимое изображение сцены, полученное с высоким разрешением. Полученное изображение сцены определяет границы, в которых можно перемещать вложенное окно формата радиоизображения. Для удобства просмотра данное окно должно иметь управление прозрачностью и инверсией. Это позволит оператору лучше рассмотреть элементы изображения радиовидения в привязке к участкам видимого изображения объектов. Главной задачей в этом случае становится позиционирование окна на поле кадра и управление квазиоптической системой радиовидения. Реализация функции позиционирования требует аппаратно-программных средств перемещения фокуса камеры и осветителя системы радиовидения с привязкой к координатам зоны кадра видимого изображения. Оператор, перемещая указатель на экране, управляет положением луча осветителя и фокусом камеры радиовидения.

Возможен «ручной» вариант реализации такой системы управления. В этом случае в состав квазиоптических средств радиовидения включается элемент целеуказания, например миниатюрный лазерный источник видимого диапазона. Он является «прицелом» системы радиовидения. Оператор направляет луч в выбранное место сцены, одновременно направляя туда фокус камеры радиовидения; камера оптического диапазона фиксирует яркую отметку и рассчитывает позицию вывода окна радиовидения в мультикадре. Лазерный луч не мешает работе средств радиовидения, обработка яркостной отметки не представляет большой сложности для программного обеспечения, механические узлы электропривода отсутствуют. Возможно, использовать источник целеуказания инфракрасного диапазона, попадающий в зону чувствительности оптической камеры, однако отбор оборудования при этом усложняется. Отметка инфракрасного источника не будет видна человеческому глазу, а алгоритм функционирования системы изменится незначительно – настройку направления придется производить по изображению оптического окна, а не по точке лазера на объекте.

В ряде случаев вместо лазерного прицела можно использовать методы привязки к характерным точкам объекта. Реализация метода требует применения программ обработки и поиска характерных точек для оптического кадра, разработки и применения подобных алгоритмов для радиосистемы. Т. е. требуется интеллектуальная система, работающая с применением функций обучения для каждого вида сцен и объектов исследования. Очевидна сложность реализации подобной программной обработки и существенное увеличение времени обработки и вывода кадра. К тому же сохраняется вероятность ошибки установления позиции кадра радиовидения в зависимости от сцены и применяемой процедуры обучения. Если сцена имеет примерно одинаковый вид, статическую привязку без перемещения средств оптического изображения, метод поиска характерных точек относительно прост в реализации. Данный метод сначала можно использовать в оптическом кадре для определения контуров видимых объектов. В полученных контурных изображениях определяются характерные точки, обычно это повороты границы выделенных областей. Система может быть настроена также на выделение объектов определенной формы (прямоугольник, круг и т. д.) Поскольку для оптического кадра все координаты полученных точек становятся известны, остается только использовать их для направления камеры радиовидения и формирования кадра радиоизображения в выбранной зоне видимого изображения. Для управления перемещением средств радиовидения требуется использование координатного электропривода высокой точности.

Следующий вариант можно отнести к методу механического сканирования. Камера оптического диапазона зафиксирована для наблюдения четко ограниченного пространства. Границы оптического кадра заранее обнаруживаются в пространстве, отмечаются маркерами в виде металлических отражающих предметов. Система радиовидения поочередно фиксируется на данных маркерах, данные о положении направления на каждый маркер запоминается в памяти контроллера управления юстировкой. Таким образом, формируется координатная сетка, относительно которой будет рассчитываться текущее положение окна радиовидения.

Основной недостаток метода – жесткая привязка к месту наблюдения, сложная процедура развертывания системы, сложная система автоматизированной юстировки квазиоптической системы.

При любом виде реализации привязки окна принцип кадр в кадре является приоритетным для построения мультикадрового просмотра в режиме реального времени.

Следующий вариант можно предложить для off-line метода. Он предусматривает сохранение оптического кадра, постепенное сканирование полного кадра сцены системой радиовидения и затем совмещенный вывод мультикадрового изображения. Для реализации метода требуется временная фиксация сцены на время ее сканирования системой радиовидения. Лучше всего применять специальные камеры для сканирующих систем. Мультикадровое совмещение лучше всего проводить в отдельных окнах с согласованным перемещением маркера-указателя. Оператор наводит маркер на участок видимого изображения, одновременно наблюдает перемещение маркера в ту же точку радиоизображения, затем может использовать зуммирование для лучшего просмотра объекта.

Недостатком метода является необходимость фиксации объектов сцены на время сканирования, требует применение специальных сканирующих систем и специального вида камер. Достоинство метода – возможность сохранять подробные данные радиовидения для всей сцены, вести документирование просмотра.

В рамках данного исследования при использовании комплекса [3, 4] нами был реализован вариант вывода контурных очертаний радиоотражений от объектов на визуальное изображение сцены, полученной камерой оптического диапазона при фиксированном положении оптической и субтерагерцовой камер с осветителем (рис. 1, а, б) и с элементом целеуказания – миниатюрным лазерным источником видимого диапазона (рис. 1, в, г).

 

Рисунок 1 – Вывод контура отражения системы радиовидения в окне визуализации: а) открытый металлический параллелепипед; б) закрытый картоном металлический параллелепипед; в) открытая металлическая пластинка г) закрытая диэлектрической пластиной толщиной 2 см металлическая пластинка

 

Для освещения сцены использовался точечный источник на основе ЛПД диода с частотой генерации 98 ГГц. При использовании диффузного осветителя возможно получение контурного изображения самого объекта, а не блика отражения.

Выводы:

• для представления данных радиовидения необходимо использовать вычислительные комплексы, способные проводить видеообработку двух и более потоков данных в реальном времени;
• в работе проанализированы возможности методов мультикадрового представления для систем радиовидения и сформулированы рекомендации по их практическому использованию;
• разработаны программные средства для формирования контурного отображения данных радиовидения на визуальном изображении наблюдаемой сцены.

About the authors

Nikolai N. Stroev

MEI research university

Author for correspondence.
Email: niknik_s@mail.ru

Candidate of Technical Sciences, Associate Professor of the Department of electronics and microprocessor equipment in Smolensk branch of the MEI research university, Smolensk

Russian Federation, Smolensk

Evgeni S Sulimski

JSC Scientific Research Institute of Modern Telecommunication Technologies

Email: e.s.sulimski@gmail.com

Software engineer

Russian Federation, Smolensk

References

Supplementary files