Application of aviation video-spectral survey to search for fragments of separating parts of launch vehicles on the ground

Full Text

ВВЕДЕНИЕ

Поиск фрагментов отделяющихся частей (ОЧ) ракет-носителей (РН) на больших площадях рассеяния по поверхности является значимой экологической задачей, возникающей в ходе эксплуатации таких систем. Использование для поиска обычной авиационной оптико-электронной съемки (включая информационные средства на беспилотных носителях) проблематично по причине последующих трудностей достоверного дешифрирования получаемых данных в сочетании с большими площадями просмотра. Более перспективным представляется решение задач на основе видеоспектральной (гиперспектральной) съемки, по результатам которой однозначно определяются наблюдаемые типы отражающих поверхностей, в том числе, субпиксельного размера. Кроме того, специальный анализ спектральных «кубов» позволяет практически полностью автоматизировать процесс идентификации искомых объектов.

Видеоспектральная съемка в настоящее время широко используется в дистанционном зондировании. Вместе с тем, как это отмечается рядом специалистов (Райкунов, Щербаков, 2014), широкий класс решаемых задач требует дополнительной разработки, по каждому конкретному применению, специализированных, достаточно эффективных методов спектральной идентификации.

Отсюда возникает целесообразность исследования возможности реализации средств обработки спектральных «кубов», получаемых в ходе эксперимента по оценке качества автоматизированного обнаружения и идентификации фрагментов ОЧ РН, на наиболее часто встречающихся травяном и урбанизированном фонах. Основным показателем качества разрабатываемого программно-алгоритмического обеспечения (ПАО) обработки данных является вероятность распознавания целей по их заранее заданным спектральным сигнатурам. В присутствие сложной помеховой обстановки, при относительно низком пространственном разрешении средства наблюдения, вторым важным фактором, влияющим на результат построения системы, является реализуемый уровень ложных тревог.

ИСХОДНЫЕ ДАННЫЕ

В Санкт-Петербургском филиале АО «КБ «Луч» реализовано ПАО обработки снимков, получаемых, в диапазоне 0.4–1.0 мкм, видеоспектрометром, приспособленным для воздушной съемки (в исходном варианте 1066 спектральных каналов) (Остриков и др., 2016а). Такой регистрирующий прибор с призменным диспергатором характеризуется «плавающим» спектральным разрешением «куба» от 0.4 нм (в начале) до 6 нм — в конце интервала чувствительности. Для тестирования возможностей разработанного ПАО, применительно к решению поставленной задачи, видеоспектрометр был установлен на борт самолета АН‑2. Время экспонирования соответствовало малым скоростям движения и составляло 14 мс.

Испытания ПАО проводились в ходе осенней (сентябрь 2017 г.) экспедиции в центральной зоне России. Для создания фоно-объектовой обстановки использовались помещенные непосредственно на травяной покров средней высоты реальные фрагменты ОЧ РН. Размеры образцов составляли от значительных (1.2 м на 1.5 м) до уменьшающихся величин, вплоть до их соизмеримого значения с реализуемым пространственным разрешением аппаратуры — около 0.5 м с высоты в 1 км. Физически они представляли собой дюралевые листы различной конфигурации.

Поскольку гиперспектрометр размещался на борту самолета без гиростабилизированной платформы, на носитель, в процессе регистрации, воздействовал ряд возмущающих факторов, вызывающих геометрические искажения получаемого снимка. Кроме того, так как сканирование поля зрения производится путевой скоростью линейной (1024 элемента в пространственном направлении) матрицей, на результатах съемки присутствует значительный уровень полосовых шумов. Представление о качестве зарегистрированных данных дает приведенное на рис. 1 полутоновое изображение. Образ синтезирован из исходного гиперспектрального куба на RGB‑спектральных линиях, вблизи, соответственно, 650, 550 и 450 нм, после чего преобразован в градации серого.

ОСНОВНАЯ ЧАСТЬ

Начальный этап обработки спектрального «куба» состоял в его биннинговании, то есть в нелинейном объединении спектральных каналов (Остриков и др., 2013), для приведения спектрального разрешения снимка к примерно постоянному интервалу в 5 нм (в итоге остается 120 спектральных каналов). Эта процедура возможна в связи с тем, что, как показала практика обработки данных, для рассматриваемых задач спектральное разрешение такой величины не вызывает информационных потерь в ходе последующего тематического анализа результатов съемки (Остриков и др., 2013, Смирнов и др., 2016а). Соответственно, при этом повышается отношение сигнала к шуму и снижается время, затрачиваемое на обработку.

 

Рис. 1. Полутоновый синтезированный RGB‑спектральный образ исходного снимка (уменьшено)

 

Рис. 2. Вырезы на зону внимания из исходного биннингованного «куба» — слева и после его предварительной коррекции — справа.

 

После биннингования следует этап предварительной обработки, состоящий в выравнивании строчных шумов. Поскольку при традиционно используемом подходе (Шовенгердт, 2010), основанном на адаптивном приведении каждого пространственного образа на текущей спектральной линии к усредненным двум первым случайным моментам снимка, происходит недопустимое искажение спектральных сигнатур пикселей, применяется специально разработанный метод компенсации (Оков и др., 2013; Ostrikov, Plakhotnikov, 2014a). Его применение, к сожалению, не позволяет полностью демпфировать присутствующий на спектральном «кубе» регулярный шум, также из-за необходимости сохранения радиометрических соотношений между спектральными каналами. Однако его снижение, как это будет ниже показано на результатах тематической обработки, себя вполне оправдывает.

После частичного демпфирования полосовых помех (в двух направлениях) предварительная обработка предусматривает геометрическую коррекцию. Эта коррекция может проводиться по сопутствующим навигационным данным, — для уменьшения значительных низкочастотных искажений, обусловленных возмущенными движениями носителя, а также путем компенсации «джиттера», — для выравнивания высокочастотных влияний. Разработанная программная реализация предусматривает специальное совместное применение двух методов (Остриков, Кириенко, 2009), позволяющая повысить качество обработанных данных.

Для наглядности на рис. 2 приведены, в единичном масштабе, сравнительные, в градациях серого, образы RGB‑синтезированных вырезов размерами 286×202 из исходного снимка (на область внимания). Левый образ — по биннингованному исходному кадру. Правый — после применения дополнительной компенсации полосового шума и комбинированной геометрической коррекции. Оба изображения эквализованы для повышения наглядности и подчеркивания наличия полосовых шумов. Белыми рамками выделены зоны с расположенными на них объектами наблюдения. Кроме того, на правом образе показано местоположение используемого в ходе последующей обработки калибрующего эталона.

Сравнение образов демонстрирует визуальное повышение качества данных после проведения используемой предварительной обработки — существенно скомпенсированы геометрические искажения и снижены полосовые шумы.

Означенные вырезы были сегментированы с применением эквализации (гистограммного преобразования) визуальным подбором порогов (Смирнов и др., 2016б). Из полученных образов, для последующего анализа, выделены собственно объекты поиска. Их совместное представление, вместе с фрагментами фотоснимков искомых объектов, приведено на рис. 3, контрасты образов вырезов инвертированы для повышения качества отображения. Размеры указаны в метрах.

В качестве верхнего на рисунке (наибольшего) тестового объекта использовался фрагмент типа «дверь», ниже — фрагмент «шар», остальные четыре объекта — куски обшивки (фрагмент «тест»). Они спектрально идентичны и различаются лишь размерами.

По каждому тестовому объекту наблюдения, на земле, предварительно измерялись коэффициенты спектральной яркости (КСЯ) с помощью полевого спекторадиометра (SR‑3500, 2013) со спектральным разрешением около 3.5 нм в диапазоне от 350 до 1000 нм. Измерения проводились таким образом, чтобы «пятно» наблюдения максимально охватывало каждый объект в пределах его размера. По фрагментам «дверь» и «шар», в силу их некоторого отличия, брались результаты, каждый из которых усреднялся по совокупности 5-ти реализаций. По остальным фрагментам усреднялись все измеренные данные. Полученные спектры помещались в базу опорных сигнатур в виде трех оригинальных образов под названиями «дверь», «шар» и «тест». Все кривые были приведены к биннингованному спектру авиационного прибора путем линейной интерполяции — рис. 4. Здесь же представлен спектр измеренного спектрорадиометром калибрующего «эталона». Кроме того, сюда добавлена спектральная сигнатура травы как основного окружающего объекты фона на рассматриваемой сцене.

Как это видно из рисунка, все три опорные сигнатуры объектов имеют близкую по форме характеристику, что, в сочетании с используемым типом нормировки в ходе обработки, на интеграл квадратов составляющих этих кривых по спектру (Смирнов и др., 2016а), в конечном итоге приводит к спектральной близости искомых опор по форме.

 

Рис. 3. Объекты поиска: а — на сегментированном вырезе из исходного «куба», б – фотографические образы, в — на сегментированном вырезе из скорректированного «куба».

 

Рис. 4. Сигнатуры искомых объектов, эталона и сопутствующего фона.

 

После проведения означенной выше предварительной обработки, в составе ПАО реализуется «внешняя калибровка» гиперспектральных данных. Эта калибровка состоит в компенсации влияния освещенности и передаточной функции столба атмосферы между регистрирующим прибором и наблюдаемой сценой (атмосферная коррекция). Следует отметить, что применительно к средствам гиперспектральной съемки с космических носителей или авиационной съемки с больших высот, атмосферная коррекция, как правило, производится модельным путем (Matthew et al, 2003). Однако при этом возникает весьма сложный вопрос «попадания в модель», то есть выбора типа и параметров этой модели, адекватных конкретным условиям наблюдения (Остриков и др., 2012). По этой причине более целесообразным представляется применение внешней калибровки на основе эталона, присутствующего в поле зрения аппаратуры наблюдения (Ostrikov, Plakhotnikov, 2014a). Такой эталон, выполненный из материала «дакрон», располагается на земле либо вблизи тестируемых объектов, как в рассматриваемом случае (отмечен на рис. 2), так и, в общем случае, может находиться на существенном удалении от них, что не влияет на качество конечной тематической обработки (Остриков и др., 2016б).

После выполнения калибровки (пересчета характеристик пикселей в КСЯ) данные подвергаются отмеченной выше нормировке, что позволяет дополнительно снизить чувствительность спектральных сигнатур к условиям наблюдения (фактически конечное распознавание проводится сравнением кривых «по форме»). После этого преобразованный «куб» поступает на тематическую обработку.

Как это следует из опыта проведения спектральной идентификации применительно к различным практическим применениям (Остриков и др., 2013, Остриков и др., 2012, Смирнов и др., 2016б), ее конечные результаты значительно зависят от используемого метода сравнения элементов снимка с эталонными сигнатурами и, следовательно, от выбранной меры близости. В качестве мер сравнения (каждого текущего спектрального вектора с заданными опорами) часто используются такие метрики, как корреляционная, разностно-векторная, модифицированная метрика Теребижа. Кроме того, в некоторых случаях применяется субпиксельный метод. Ниже, формализовано, описаны использованные в рассматриваемом случае методы для последующей оценки их качества по конечным результатам решения экологической задачи.

Суть субпиксельного метода состоит в проецировании текущего пиксельного вектора ${\rho }_{ij}\left(\lambda \right)$ на априорно заданные опорные спектральные векторы ${\rho }_n\left(\lambda \right), n=\mathrm{1,2,}\dots ,N$. Здесь $ij\in \left[I,J\right]$, где $I\times J$ — размерность двумерной области снимка.

Примем, что $k=\mathrm{1,2,}\dots ,K$ — число спектральных каналов используемого прибора. Тогда процедура субпиксельного проецирования на принятые опоры может быть записана (Остриков и др., 2016б), как

${\left[r_{ij}^{\left(1\right)}{r}_{ij}^{\left(2\right)}\mathrm{..}{r}_{ij}^{\left(N\right)}\right]}^T={\left(R^{T}R\right)}^{-1}{R}^T{\rho }_{ij}\left({\lambda }_k\right)$ , (1)

где матрица проецирования строится по заранее выбранным векторам:

$R^T=\left[\begin{array}{c}{\rho }_1\left({\lambda }_k\right)\\ {\rho }_2\left({\lambda }_k\right)\\ \dots \\ {\rho }_{N }\left({\lambda }_k\right)\end{array}\right]=\left[\begin{array}{c}{\rho }_1^{\left(1\right)}{\rho }_1^{\left(2\right)}\dots {\rho }_1^{\left(K\right)}\\ {\rho }_2^{\left(1\right)}{\rho }_2^{\left(2\right)}\dots {\rho }_2^{\left(K\right)}\\ \dots \\ {\rho }_N^{\left(1\right)}{\rho }_N^{\left(2\right)}\dots {\rho }_N^{\left(k\right)}\end{array}\right].$      

${\tau }_{ij}^{\left(n\right)}\left({\rho }_{ij}\left(\lambda \right),{\rho }_n\left(\lambda \right)\right)=\sum _{k=1}^K\left[{\left({\rho }_{ij}\left({\lambda }_k\right)-{\rho }_n\left({\lambda }_k\right)\right)}^2/{\rho }_n\left({\lambda }_k\right)\right]$.(2)

Здесь объединение пикселей, относящихся к классу «объект», будет характеризоваться выполнением соотношения ${\tau }_{ij}^{\left(l\right)}={\text{min}}_n\left\{{\tau }_{ij}^{\left(n\right)}\right\},$ если $l=\mathrm{1,}\mathrm{2,}\mathrm{3,}$ и к классу «фон», — если $l>3$.

Специальная метрика «разностно-векторная» построена по аналогии с мерой Кульбака, однако, в отличие от оценки расстояния между распределениями (как в исходном варианте), здесь рассчитывается расстояние между собственно векторами:

$\begin{array}{c}{u}_{ij}^{\left(n\right)}\left({\rho }_{ij}\left(\lambda \right),{\rho }_n\left(\lambda \right)\right)=\\ =\sum _{k=1}^K\left\{\left[a_{ij}\left({\lambda }_k\right)-b_n\left({\lambda }_k\right)\right]\text{log}\left[a_{ij}\left({\lambda }_k\right)/b_n\left({\lambda }_k\right)\right]\right\}\end{array}$ , (3)

где $a_{ij}\left({\lambda }_k\right)=\frac{{\rho }_{ij}\left({\lambda }_k\right)}{{\displaystyle {\sum }_{k=1}^K{\rho }_{ij}\left({\lambda }_k\right)}}$, $b_n\left({\lambda }_k\right)=\frac{{\rho }_n\left({\lambda }_k\right)}{{\displaystyle {\sum }_{k=1}^K{\rho }_n\left({\lambda }_k\right)}}$.

Аналогично использованию модифицированной меры Теребижа, для объединения пикселей, относящихся к классу «объект», рассчитывается

$u_{ij}^{\left(l\right)}={\text{min}}_n\left\{u_{ij}^{\left(n\right)}\right\}, \text{\hspace{0.17em}если} l=\mathrm{1,}\mathrm{2,}3$, и к классу «фон», — если $l>3$.

Метод корреляционного сравнения (коэффициент корреляции):

$\begin{array}{c}{C}_{ij}^{\left(n\right)}\left({\rho }_{ij}\left(\lambda \right),\text{\hspace{0.17em}\hspace{0.17em}}{\rho }_n\left(\lambda \right)\right)=\\ =\frac{1}{d_{ij}{d}_n}\sum _{k=1}^K\left[{\rho }_{ij}\left({\lambda }_k\right)-E\left({\rho }_{ij}\right)\right]\left[{\rho }_n\left({\lambda }_k\right)-E\left({\rho }_n\right)\right],\end{array}$ (4)

где $d_{ij}=\sqrt{\sum _{k=1}^K{\left[{\rho }_{ij}\right({\lambda }_k)-E({\rho }_{ij}\left)\right]}^2,}$ $d_n=\sqrt{\sum _{k=1}^K{\left[{\rho }_n\right({\lambda }_k)-E({\rho }_n\left)\right]}^2},$

$E\left({\rho }_{ij}\right)=\frac{1}{K}\sum _{k=1}^K{\rho }_{ij}\left({\lambda }_k\right)$, $E\left({\rho }_n\right)=\frac{1}{K}\sum _{k=1}^K{\rho }_n\left({\lambda }_k\right)$.

Аналогично применению субпиксельного метода, здесь для объединения пикселей, относящихся к классу «объект», определяется

$C_{ij}^{\left(l\right)}={\text{max}}_n\left\{C_{ij}^{\left(n\right)}\right\}, \text{\hspace{0.17em}если\hspace{0.17em}} l=\mathrm{1,}\mathrm{2,}3$, и к классу «фон», — если $l>3$.

Существенной особенностью рассматриваемого случая решения задачи является тот факт, что в поле зрения прибора попадает большое количество других искусственных объектов, находящихся в спектральной близости к опорам. Это объясняется, в первую очередь, тем, что эксперимент по получению и обработке данных авиационной съемки проводился непосредственно вблизи сооружений аэродромного обслуживания. В итоге на образе спектральной идентификации могут частично выделяться окружающие искусственные объекты.

Такого рода особенность приводит к тому, что используемые меры спектральной близости сигнатур обломков к опорам, особенно с учетом неизбежного частичного спектрального смешивания обнаруживаемых объектов с фоном, благодаря их относительно малым размерам, в некоторых случаях оказываются несколько меньше тех значений, которые соответствуют окружающим объектам сцены. В итоге уровни ложных тревог в ходе распознавания могут оказаться значимыми и влиять на конечное качество применения средства спектрального обнаружения. Эти уровни зависят также от используемых методов сравнения текущих спектральных векторов снимка с выбранным набором опор.

Последовательно применяя выбранные меры близости (1)–(4) к исходным биннингованным данным (сначала без использования предварительной обработки), получаем результаты спектральной идентификации для каждого варианта решения задачи — рис. 5. На рисунке выделены области поиска объектов, контрасты образов также инвертированы для наилучшего отображения.

По полученным результатам рассчитываются оценки качества распознавания объектов поиска. При этом вероятности определяются отношением числа правильно идентифицированных пикселей объектов, к числу пикселей, истинно относящихся к искомым объектам поиска, задаваемых их положением на рис. 3a. Ложные тревоги определяются числом выделенных пикселей, не относящихся к объектам поиска на выделенном фрагменте. Итоговые расчеты сведены в таблицу 1.

 

Таблица 1. Вероятности обнаружения по исходному снимку

Мера близости	Вероятность обнаружения	Число ложных тревог
Субпиксельный метод	0.53	59
Разностно-векторная	0.59	105
Теребижа	0.53	62
Корреляционный метод	0.23	4068

 

Рис. 5. Результаты выделения объектов поиска по исходному снимку: а — субпиксельным методом, б — разностно-векторным, в – Теребижа, г — по корреляции.

 

Отметим, что в большинстве случаев (кроме корреляционного метода сравнения) в областях поиска присутствуют, как таковые, все шесть искомых объектов (наблюдается частичное выделение пикселей, относящихся к фрагментам). Как это следует из представленной таблицы, качество обнаружения первыми тремя указанными методами близко, при этом для применения разностно-векторной метрики характерно некоторое сравнительное повышение уровня ложных тревог. Это является следствием почти полного выделения сопутствующего фонового объекта, что, однако, не мешает визуальной идентификации объектов поиска с учетом существенно большего размера этого фонового образования. Качество обнаружения с применением корреляционной меры — низкое.

Аналогичные расчеты спектральной идентификации снимков были проведены по данным, подвергнутым описанной выше предварительной обработке. Истинное положение элементов поиска в этом случае определялось приведенным выше на рис. 3в.

Полученные образы представлены на рис. 6. Здесь, в отличие от вышеприведенных результатов обработки по исходному снимку, уровни ложных тревог существенно меньше почти для всех мер близости. При этом сравнительно хуже выделились объекты при использовании корреляционной меры. Оценки величин вероятнос-
тей идентификации для этого случая сведены
в таблицу 2.

 

Рис. 6. Результаты выделения объектов поиска по предварительно обработанному снимку: а — субпиксельным методом, б — разностно-векторным, в — Теребижа, г — по коэффициенту корреляции.

 

Как показывает анализ приведенных расчетов, а также визуальный анализ результатов распознавания, как для исходных данных, так и для предварительно обработанных, наиболее целесообразно использовать специальную разностно-векторную метрику, обеспечивающую, при максимально достоверном (из выбранных методов) обнаружении искомых объектов, сравнительно невысокую величину ложных тревог. Эта величина, в обоих случаях, обусловлена обнаружением компактного объекта фонового образования, что принципиально не мешает правильной идентификации искомых объектов.

 

Таблица 2. Вероятности обнаружения по снимку после проведения его предварительной обработки

Мера близости	Вероятность обнаружения	Число ложных тревог
Субпиксельный метод	0.625	32
Разностно-векторная	0.75	98
Теребижа	0.56	70
Корреляционный метод	0.44	24

ЗАКЛЮЧЕНИЕ

Результаты исследования спектральной идентификации фрагментов ОЧ РН на фоне травяного покрова и окружающих искусственных покрытий, по данным гиперспектральной авиационной съемки в диапазоне 0.4–1.0 нм, со спектральным разрешением 5 нм, принципиально показали возможности реализованного ПАО для решения поставленной задачи. По результатам исследований было подтверждено достаточно высокое качество применения предложенных, специализированных для видеоспектрометрии методов предварительной обработки, в сочетании с используемыми методами атмосферной коррекции, нормировки данных и выбора метрик сравнения. Так, при полном отсутствии пропусков искомых объектов (как таковых), с последующим применением специальной разностно-векторной метрики, возможно повышение качества решения поставленной задачи примерно в 1.4–1.5 раза (по показателю вероятности распознавания пикселей, принадлежащих объектам поиска), по сравнению с исходными (предварительно не обработанными) данными. При этом достаточно низкий уровень ложных тревог в зоне поиска позволяет, даже в присутствии других искусственных образований на снимке, уверенно выделять искомые объекты. Полученный результат обосновывает возможность применения используемого метода для решения экологической задачи поиска техногенных загрязнений.

About the authors

V. N. Ostrikov

Saint Petersburg branch of JSC "CB "Luch"

Author for correspondence.
Email: ostrvad@mail.ru
Russian Federation, Saint Petersburg

O. V. Plakhotnikov

Saint Petersburg branch of JSC "CB "Luch"

Email: ostrvad@mail.ru
Russian Federation, Saint Petersburg

A. V. Kirienko

Saint Petersburg branch of JSC "CB "Luch"

Email: ostrvad@mail.ru
Russian Federation, Saint Petersburg

References

Supplementary files