Holonomic correction in problem crosslinking band images received multimatrix optical-electronic converter

Full Text

К видеоаппаратуре систем пассивного обзора, наведения и целеуказания предъявляются, зачастую одновременно, высокие требования к размерам поля обзора, разрешающей способности, отношению сигнал/шум и параметрам дискретизации видеосигнала по времени и уровню. В современных технологических ограничениях таким требованиям могут удовлетворять только мультиматричные оптико-электронные преобразователи (МОЭП) изображения, составленные из отдельных матричных приборов с зарядовой связью (ПЗС). Примером может служить аппаратура типа «Сангур» производства российской фирмы «Оптекс», предназначенная для работы с изобразительными системами космических аппаратов (КА) дистанционного зондирования Земли (ДЗЗ). МОЭП такого типа состоят из многострочных ПЗС матриц, видеосигнал с которых снимается только с одной строки матрицы. Остальные строки матрицы работают в режиме временной задержки и накопления заряда (в режиме ВЗН), накапливая видеосигнал в виде заряда в ПЗС-ячейках матрицы. Двумерное (кадровое) изображение формируется такими системами «заметанием» (сканированием) поля обзора в направлении нормали к линии, проходящей через центры ПЗС-ячеек, составляющих одну строку ПЗС матрицы. В системах ДЗЗ такое сканирование осуществляется за счет движения КА по орбите, но возможно инициирование сканирования за счет эволюций КА относительно собственного центра масс. Формирование кадра способом заметания, при котором естественным образом реализуется режим ВЗН, вызвано необходимостью получения изображения с приемлемым отношением сигнал/шум в условиях малости светосилы оптического сигнала, достигающего отдельные ПЗС-ячейки матрицы. ПЗС-матрицы в МОЭП располагаются на плоскости изображения (на картинной плоскости) оптической системы (ОС) на конструктивно минимально возможном расстоянии друг от друга, составляя сборку, напоминающую «коленвал» (рис. 1). Р ис. 1. Взаимное расположение ПЗС-матриц в фокальной плоскости ОС При сканировании поля обзора таким МОЭП каждая ПЗС-матрица порождает полосу изображения. Смежные края фоточувствительных зон ПЗС-матриц, входящих в «коленвал» МОЭП, перекрываются (см. рис. 1). В результате на смежных краях полос изображений, полученных от соседних матриц при штатной работе системы сканирования, присутствуют области (назовем их «швами»), которые отображают одни и те же объекты. При сборке из отдельных полос единого изображения необходимо совместить изображения одних и тех же объектов в пересекающихся областях смежных полос и удалить дубликаты таких изображений. Эта задача называется сшивкой изображений [1]. Задача сшивки изображений осложнена тем, что изображения имеют цифровую форму представления видеосигнала: дискретизированы по пространственным координатам (пикселам, порождаемым дискретными ПЗС-ячейками в структуре ПЗС матриц), амплитуде (результат ограниченной длины разрядной сетки для представления цифрового кода яркости пиксела) и времени (результат экспозиции изображения на ПЗС матрицы в течение некоторого интервала времени). На рис. 1 величины xi и xi+1 задают локальную ширину областей перекрытия смежных концов соседних матриц, порождающих швы на изображениях. Ширину таких областей далее будем считать измеренной в «пиксельной» метрике, считая, что в этой метрике размер одной ПЗС-ячейки (пиксела) в любом направлении равен 1. При этом расстояние между соседними пикселами в строках и в столбцах ПЗС матрицы также равно 1. К сожалению, локальная ширина (xi и xi+1 на рис. 1) каждого шва не постоянна даже на одном изображении. Поэтому в задаче сшивки полос необходимо для каждой строки y изображения n+1 полосы вычислить двумерный вектор ее сдвига относительно полосы с номером n. Далее этот вектор называется «параметр сшивки». Задача сшивки изображений решается в 2 этапа: – с субпиксельной точностью вычисляются локальные параметры сшивки в строках вдоль шва (совокупность этих параметров называется далее «протоколом сшивки»); – содержимое протокола сшивки по всем швам используется для синтеза по исходным изображениям полос единого сшитого изображения. В статье рассматриваются только вопросы, связанные с первым этапом сшивки. Объективные локальные особенности изображений, попадающих в область шва, могут затруднить или сделать невозможным достаточно точное сведение изображений в этих локальных подобластях. К таким особенностям относятся: – малая вариация контраста изображения на фоне шума, например на водных гладях, облаках, полях, крышах зданий, в области теней, например от высоких зданий; – наличие изображений протяженных линейных структур (линеаментов) различной природы, в ближайшей окрестности которых мала вариация контраста изображения (апертурная проблема); – брак в изображениях, вызванный, например, засветкой ПЗС-ячеек от ярких снимаемых объектов (освещенных солнцем облаков, блестящих металлических крыш). В таких случаях возникает необходимость в доопределении протокола сшивки там, где фрагменты полос изображений не удалось свести. Доопределение протокола в неблагоприятных локальных подобластях может быть сделано применением методов интерполяции либо на основе использования дополнительной информации. Оказалось, что в качестве дополнительной информации весьма продуктивно использовать геометрические (голономные) связи между крайними ПЗС-ячейками смежных сторон соседних ПЗС матриц (рис. 2). Учет таких голономных связей позволил, например, решить задачу отождествления мультиматричной видеокамеры с полученными ею снимками [2]. Рис. 2. Смежные швы при разных углах рыскания На рис. 2 показаны два возможных варианта (V1, V2) ориентации вектора скорости «бега» изображения на картинной плоскости ОС. Ориентация векторов V1 и V2 относительно матриц МОЭП есть угол сноса () изображения относительно этих матриц. Он вызван наличием угла рысканья и изменением угла крена носителя ОС в процессе проведения съемки местности способом заметания. На рис. 2 значению угла = 0 соответствует вектор V1, который ориентирован по нормали к матрицам МОЭП, а ненулевому значению этого угла – вектор V2. В процессе формирования изображения значение угла сноса  может варьировать. В результате ширина шва по границе склеивания полос изображений, полученных от двух смежных матриц, будет изменяться от строки к строке. Поэтому ширина wi i-го шва зависит от номера y строки изображения и от ширины областей перекрытия смежных концов соседних матриц xi, то есть wi = wi(xi, (y)). (1) Поскольку угол  однозначно определяется вектором V, то последнюю зависимость можно представить в виде wi = wi(xi, V(y)). (2) Из элементарных геометрических соотношений (см. рис. 2) ясно, что при условии идеального расположения матриц (строго на параллельных линиях картинной плоскости) уменьшение/увеличение wi сопровождается равным увеличением/уменьшением wi+1 (3): wi(V1)-wi(V2) = wi+1(V2)-wi+1(V1). (3) Поэтому при вариации вектора V сохраняются значения сумм wi(V)+wi+1(V) для каждой пары соседних швов. Тогда в рассматриваемых идеальных условиях и для обозначений на рис. 1 и рис. 2 справедливо следующее: xi +xi+1 = wi(V1)+wi+1(V1) = wi(V2)+wi+1(V2) = i,i+1. (4) Отсюда следует важный вывод: суммарная ширина двух соседних швов для одной и той же строки y полосы изображения от i матрицы является константой, индивидуальной для каждой сборки матриц, и равной сумме xi+xi-1 (см. рис. 1) взаимных перекрытий i-й матрицы с соседними матрицами. Ширина xi зон перекрытия смежных сторон соседних матриц различна для разных пар матриц, прежде всего по причине неидеальной точности взаимного позиционирования матриц в процессе их механической сборки в МОЭП. По этой же причине возникают ошибки позиционирования (перекоса) матриц относительно параллельных линий на картинной плоскости, вдоль которых эти матрицы расположены (рис. 2). Последние ошибки приводят к нарушению равенств (3) и (4). На рис. 2 через yi обозначено расстояние между крайними строками ПЗС ячеек соседних матриц. В идеальном случае, для которого справедливы равенства (3) и (4), матрицы с номерами i и i+2 расположены на одной прямой, и при этом yi=yi+1. Выполненная оценка возможных невязок равенств (3) и (4) по причине перекоса положения матрицы на примере реальных параметров аппаратуры типа «Сангур» фирмы «Оптекс» показала следующее. В режиме съемки с углом сноса m изображения, при котором получается смаз изображения вдоль его строк в 2 пиксела, перекос положения матрицы, нарушающий равенство yi= yi+1 на 1 пиксел, порождает невязку в равенствах (3) менее 0,01 пиксела. Эта оценка более чем на порядок меньше достаточной точности (0,1…0,3 пиксела) вычисления параметров сшивки изображений. Кроме того, на практике величина yi составляет доли пиксела, а угол m сноса изображения, использованный в оценке, превышает реальные углы сноса. Это позволяет в дальнейшем изложении пренебречь возможной невязкой равенств в (3) и в (4), вызванной перекосом положения матриц относительно их идеального положения. Результат решения задачи отождествления мультиматричной видеокамеры с полученными ею снимками [2] на основе учета голономных связей во взаимном позиционировании соседних матриц в МОЭП подтверждает допустимость такого пренебрежения возможными невязками. Далее будем считать, что значения компонент xi вектора X=(x1, …, xm), участвующих в равенствах (4), известны с некоторыми погрешностями, а значения wi вычислены с некоторыми погрешностями. Обозначим: xi, wi – оценка точного значения xi и wi из (4); xi – точное значение xi; xi – абсолютная погрешность оценки xi; wi, wi – точное значение и абсолютная погрешность вычисленной оценки wi значения wi. При этих обозначениях имеем: xi = xi+xi; wi = wi+wi. (5) С учетом введенных обозначений перепишем (4) в следующем виде: wi + wi+1 = xi + xi+1. (6) Из (6) можно сделать вывод: компоненты xi вектора X=(x1, …, xm) конструктивных взаимных перекрытий матриц, являющиеся константами для данной сборки матриц, позволяют контролировать и корректировать с некоторой погрешностью как вычисляемые значения сумм wi+wi+1, так и вычисляемую ширину wi отдельного шва. Рассмотрим соответствующую процедуру подробнее. Несложно видеть, что ширина всех швов через один изменяется в одинаковом направлении. Если, например, ширина 3-го шва увеличивается, то увеличивается ширина всех швов с нечетными номерами и уменьшается ширина всех швов с четными номерами, поскольку ширина любых двух соседних швов изменяется в противоположном направлении. Поэтому (в условиях идеализированного расположения матриц), если изменение угла  сноса изображения приводит к приращению wi ширины wi i-го шва, то и все швы с номерами i±2n, n=1, …, N получают такое же по значению приращение. На основании этого наблюдения и с учетом вышеизложенного можно записать следующие равенства, предполагающие наличие в составе МОЭП 6 матриц, порождающих 5 швов: w1+w2 = x1+x2; w1+w4 = x1+x4; w2+w3 = x2+x3; (7) w2+w5 = x2+x5; w3+w4 = x3+x4; w4+w5 = x4+x5. Заметим, что система равенств (7) избыточна, поскольку некоторые из них являются линейной комбинацией других. Применительно к рассматриваемым вопросам эти избыточные (линейно зависимые) равенства оказываются полезными для голономной коррекции протоколов сшивки полос изображений. И Рис. 3. Граф голономных связей з соотношений (7) следует: если известны значения всех компонент вектора X=(x1, …, x5), то для вычисления значений компонент вектора W=(w1, …, w5) достаточно вычислить какое-либо одно из них, а по нему все остальные могут быть выведены из (7). Такую методику расчета ширины швов будем называть «косвенной», в отличие от методики «прямого» определения ширины швов методом совмещения изображений. Например, определив непосредственно по изображениям значение w1, получим последовательно: w2=x1+x2-w1; w4=x1+x4-w1; w3=x2+x3-w2; w5=x2+x5-w2. (8) Все возможные варианты вывода четырех значений компонент вектора W=(w1, …, w5) по одному из них удобно представить в виде неориентированного графа (рис. 3). На графе ребро, соединяющее вершины vj и vi, означает, что значения wj и wi входят в одно и то же равенство (7) и непосредственно по этому равенству по значению wj можно вычислить значение wi и наоборот. Ребра графа, нарисованные жирными линиями, задают дерево-остов, иллюстрирующее процедуру (8) вычисления значений w2, …, w5 по известному значению w1. Очевидно, что в этом графе из любой его вершины достижимы все остальные. Поэтому любая из 5 компонент вектора W позволяет вычислить все остальные. Прием косвенного вычисления ширины wi швов позволяет вычислять значения wi для фрагментов швов, по которым прямое вычисление невозможно из-за неблагоприятных локальных особенностей изображения, основные возможные варианты которых перечислены выше. Оценим погрешность вычисления компонент вектора W по системе равенств (7), то есть с помощью графа рис. 3. Каждая строка системы равенств (7) имеет вид (6). Из (6) с учетом (5) получаем: wi = wi+wi = xi+xj -wj = xi+xj-wj+xi+xj-wj. (9) Из (9) получим погрешность wi вычисленной оценки wi для wi: wi = xi+xj-wj. (10) Погрешности xi и xj в (10) носят статический характер: не зависят от обрабатываемых изображений и от положения обрабатываемых фрагментов изображений на швах. Поэтому динамические свойства ошибки wi вычисляемого значения wi вдоль i-го совпадают по модулю и противоположны по знаку динамическим свойствам ошибки wj оценки wj для соседнего j-го шва, по которому вычисляется i-й шов. Выведем выражения для погрешности вычисления ширины швов при различных путях передвижения по графу голономных связей. Не теряя общности и для простоты рассмотрим процесс вычисления w3 по вычисленному значению w1 для двух путей между этими вершинами: для пути v1 v2 v3 и для пути v1 v4 v5 v2 v3. Ошибки вычисленных оценок w3 для w3 на этих путях обозначим как w3123 и w314523. Для первого из рассматриваемых путей, выразив w3123 через w2, а w2 через w1, получим: w3+w3123 = x3-x1 +w1 = x3-x1+w1+x3-x1+w1. (11) Из (11) следует: w3123 = x3-x1+w1. (12) Для пути v1 v4 v5 v2 v3 аналогичными подстановками получим: w314523 = x3-x1+w1. (13) Видим, что w314523= w3123. Причем в выражения для w314523 и w3123 не входят параметры швов, которые соответствуют промежуточным вершинам путей на графе голономных связей. Следовательно, погрешности wj вычисления оценки wj ширины wj швов по голономным связям: – не зависят от пути продвижения по графу голономных связей: – не накапливаются при движении по графу голономных связей; – зависят от погрешности wi вычисленной оценки wi ширины шва, из которого выводится ширина всех остальных швов; – зависят от погрешностей x3 и x1 информации о взаимных перекрытиях матриц только двух швов. Погрешности wi связаны с обработкой некоторого отдельного шва и изменяются вдоль шва. Значения же xi вычисляются и уточняются по результатам обработки десятков изображений и имеют постоянное значение. Поэтому погрешности xi должны быть многократно (на порядки) ниже средних погрешностей wi: wi >> xi. С учетом этого погрешностями xi при их суммировании со значениями wi в выражениях (10), (12) и (13) можно пренебречь. Тогда из этих выражений можно сделать следующие выводы: – для пары (i, j) швов с нечетной длиной пути между ними на графе голономных связей имеем wi = -wj; – для пары (i, j) швов с четной длиной пути между ними на графе голономных связей имеем wi = wj. Последнее означает, что практически погрешности косвенного вычисления ширины швов на основе учета использованных голономных связей равны погрешности вычисленной по изображению ширины шва, от которого вычисляются остальные швы. Итак, было показано, что по единственному вычисленному шву можно с достаточной точностью вычислить остальные швы. Однако для большей достоверности вычисления всех искомых значений w1, …, w5 следует пытаться вычислить каждое из них непосредственно, то есть по изображению. При этом голономные связи, определенные выше, можно использовать для корректировки значений, вычисленных с наименьшей степенью достоверности, или значений, которые не удалось вычислить непосредственно. В связи с этим возникают задача оценки достоверности вычисленного параметра сшивки и задача организации оптимального использования вычисленных результатов w1, …, w5 для увеличения точности вычисления хотя бы некоторых из искомых значений w1, …, w5. Один из способов оценки достоверности вычисляемых параметров сшивки изложен в [3]. Этот способ оценки достоверности вытекает из метода функционализации параметров изображений, называемого далее «метод функционализации» [1, 3], на основе которого разработаны алгоритмы и программное обеспечение для вычисления параметров сшивки полос изображений. Выше рассматривались вопросы использования голономных связей только для вычисления x координат векторов сшивки полос изображений. К сожалению, для y координат векторов сшивки (yКВШ) установить надежные голономные связи не удается. Причина в том, что yКВШ чувствительна к высоте рельефа изображенной местности, которая от шва к шву может меняться достаточно значительно. Это затрудняет использование голономных связей, относящихся к yКВШ. Для обработки изображений плоской местности можно применить голономные связи и в отношении yКВШ. Если изображенная местность достаточно плоская и в областях швов нет изображений высотных объектов (например башен, небоскребов, облаков), то yКВШ может изменяться только за счет эволюций носителя ОС относительно собственного центра масс. При этом доминирующее влияние на изменение yКВШ оказывает изменение угла тангажа носителя ОС. Поскольку все матрицы в МОЭП поворачиваются одинаково, изменения угла тангажа при съемке одинаково сказываются на изменениях yКВШ по всем швам. На рис. 4 представлены два набора диаграмм протоколов сшивки двух соседних швов. Ось ординат задает проекции векторов сшивки на оси X и Y в пикселах. Ось абсцисс задает номера строк изображения. Диаграммы Y1 и Y2 отображают yКВШ, а диаграммы X1 и X2 – x координаты векторов сшивки. На диаграммах x координаты имеют отрицательные значения потому, что задают сдвиг правой полосы влево. На рис. 4, а «пики», достигающие нулевых значений на диаграммах X1 и X2, означают, что программа оценила вычисленные параметры векторов сшивки как недостаточно достоверные и вычисленные значения x координаты векторов были заменены значением 0. В результате коррекции протокола сшивки двух соседних полос (рис. 4, б) на основе рассмотренных в этой статье голономных связей все такие «пики» были заменены достоверными значениями параметров сшивки полос. а б Рис. 4. Примеры диаграмм протокола сшивки: а) до коррекции; б) после коррекции Диаграммы Y2 для исключения их сливания с диаграммами Y1 отображены с изменением знака всех вычисленных значений y составляющих векторов сшивки. При этом видна одинаковая динамика изменения y составляющих векторов сшивки в соседних швах: диаграммы симметричны относительно некоторой горизонтальной прямой, проходящей через точку пересечения этих диаграмм. Причем эта точка пересечения не совпадает с осью абсцисс, что говорит о перекосе положения матрицы: yi  yi+1. Из сравнения двух наборов диаграмм можно заметить, что после коррекции уменьшились высокочастотные колебания диаграмм X1 и X2 и исчезли ложные пики на диаграммах Y1 и Y2. Причем ложные пики на Y1 совпадают с искусственными пиками на X1, означающими, что соответствующий вектор сшивки полос был отмечен как недостаточно достоверный.

About the authors

Boris V Martemyanov

Samara State Technical University

Email: bvmart@rambler.ru
(Ph.D. (Techn.)), Associate Professor. 244, Molodogvardeyskaya st., Samara, 443100

References

Supplementary files