Selection of informative features to highlight areas of waste disposal on high spatial resolution satellite imagery

Full Text

ВВЕДЕНИЕ

Настоящее исследование посвящено использованию космических изображений высокого пространственного разрешения для дистанционного зондирования объектов размещения отходов (ОРО). Актуальность темы исследования определяется наличием большого количества таких объектов, распределенных на поверхности Земли. Большое количество свалок существенно затрудняет обеспечение экологического мониторинга традиционными методами, такими как маршрутные наблюдения, полевые, лабораторно-аналитические и камеральные работы. Мониторинг ОРО, основанный на методах дистанционного зондирования Земли, имеет ряд преимуществ по сравнению с другими методами. При дистанционном мониторинге территорий с ОРО отсутствует прямой контакт с этими объектами. Дистанционный мониторинг может быть проведен в труднодоступных местах (горные районы, северные территории и др.), для которых наземный мониторинг крайне затруднен или невозможен.

Для эффективного космического мониторинга свалок необходимо использование автоматизированной цифровой обработки, которая в настоящее время развита недостаточно. Существующие методы имеют определенные недостатки, такие как ограниченность задач дешифрирования, решаемых путем цифровой обработки, и невозможность проведения полноценного мониторинга свалок. Поэтому актуален комплексный подход к космическому мониторингу свалок, который включает как автоматизированную обработку космических изображений, так и их визуальное дешифрирование с целью поиска и анализа объектов размещения отходов (Рихтер и др., 2015а, б, в; Рихтер, 2018).

Области замусоривания на земной поверхности существуют объективно, независимо от регистрирующей аппаратуры и обладают рядом специфических признаков, отличающих их от окружающих фонов. Основная задача проводимого исследования состоит в разработке методов выделения этих признаков на изображениях достаточно высокого качества для дальнейшей разработки методов и алгоритмов автоматизированного и автоматического выделения областей замусоривания на спутниковых изображениях. При этом мы используем изображения, которые прошли надлежащие этапы предварительной обработки и не рассматриваем специальных процедур валидации спутниковых данных в рамках проводимой работы.

Для космического мониторинга свалок разработан ряд методик цифровой обработки изображений, в частности (Рихтер и др., 2015а, б, в; Рихтер, 2018; Шахраманьян и др., 2018а, б; Kazaryan et al., 2015, 2017; Richter et al., 2017a, b): 1) комплексная методика автоматизированного обнаружения и оценки параметров свалок по данным космической съемки; 2) методика оценки индексов реакции растительности и почвы; 3) методика автоматизации оценки пространственно-временных индексов подстилающей поверхности; 4) методика построения 3D‑моделей ригидных объектов по одному изображению с помощью координатных сеток. В настоящей работе мы будем, по возможности, опираться на существующие методики для достижения поставленной цели.

МЕТОДИКА ИССЛЕДОВАНИЙ

С учетом специфики исследуемого объекта общая методика дешифрирования свалок по космическим изображениям должна включать следующие возможности: 1) детектирование ОРО с учетом их местоположения, и области покрытия, формы и ее изменения, компонентов поверхности; 2) оценку параметров ОРО (геометрических, температурных и др.); 3) обследование ОРО и объектов окружающей среды (пространственный фон объекта), в том числе оценка состояния объектов, построение моделей объектов, логический анализ последовательностей изображений, динамика ОРО и др.

Основные требования к изображениям: высокое пространственное разрешение, наличие полноцветных изображений (в видимом диапазоне спектра), отсутствие экранирующих поверхностей (облачность, растительность, снег и др.).

С точки зрения дешифрирования космических изображений ОРО имеют ряд особенностей, которые должны быть учтены при анализе изображений:

1. Географические: координаты (географические и геодезические); принадлежность агломерации и административно-территориальным объектам (государство, регион, район, населенный пункт и др.); антропогенные объекты привязки (дворовые, общепитовые, рыночные, медицинские, гаражные, придорожные и др.), природные объекты привязки (пруд, парк, лесной массив, река, берег и др.);
2. Геометрические: форма (рассредоточенная, сосредоточенная; линейная, полигональная); размеры, определяемые по площади и периметру детектированных ОРО; объем свалки; динамика формы и размеров (увеличение, уменьшение, неизменность, зарастание; перемещение объекта и границ, изменение размеров объекта);
3. Технологические: экранирование (защитные экраны, ограждения «сбоку» и «сверху», герметизация отходов); состав (морфологические компоненты отходов на поверхности объекта); структура (естественные и искусственные подсистемы объекта и его окрестности; зоны, внутренние объекты, классы поверхности); характер воздействия объекта на среду и среды на объект.

Одним из программных средств для решения задач комплексного дешифрирования (в частности, визуального) ОРО, простым в использовании и имеющим широкие возможности, является программа Google Earth, которая использует размещенные в интернете спутниковые изображения всей земной поверхности, причем изображения некоторых регионов имеют очень высокое разрешение. Поэтому мы будем использовать эту программу в настоящем исследовании. Возможности программы, которые используются для комплексного дешифрирования ОРО по предлагаемой методике:

• просмотр основных и пользовательских данных (границы и названия, метки, фотографии, трехмерные модели и др.), разработка пользовательских баз данных;
• оперативное дистанционное обследование поверхности земли (вид сверху) по аналогии с наземным обследованием (вид спереди), возможность обследования поверхности как «сверху» (космическая съемка), так и «спереди» (панорамная съемка);
• поиск природных и антропогенных объектов по адресам, названиям, различным косвенным признакам, привязка к административно-территориальным объектам;
• построение пользовательских моделей объектов и территорий на поверхности Земли;
• измерение геометрических параметров (на плоскости и в пространстве), усовершенствованные геометрические измерения;
• просмотр исторических изображений поверхности Земли;
• работа со слоями (автоматизация выделения объектов, картографирование, скрытие и отображение собственных и встроенных моделей);
• разработка пользовательских моделей карт и их использование наравне с существующими, а также ряд других полезных свойств.

Входные данные (изображения и сцены) для визуального дешифрирования могут быть получены на базе как платных, так и бесплатных ресурсов — в интерактивных средах (Google Earth, Google-, Яндекс-карты и др.).

В настоящей работе будем рассматривать особенности космических изображений ОРО, используя различные подходы: анализ текстуры мусорного покрова, анализ цветовых особенностей в областях ОРО, фрактальный анализ изображений (Бондур, Старченков, 2001; Бондур и др., 2006, 2016; Бондур, Чимитдоржиев, 2008а, 2008б; Бондур, 2010, 2014; Бондур, Воробьев, 2015; Bondur, Vorobev, 2015; Bondur et el., 2017, Гудфеллоу и др., 2017; Еремин, Гарцеев, 2004; Каллан, 2001; Белоусов, Ткачев, 2004).

Предложенные авторами методы и алгоритмы реализованы в виде исследовательских программ на высокоуровневом языке программирования и численных расчетов Матлаб, которые использовались при получении результатов исследований, представленных ниже в настоящей работе.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ

Описание текстурных особенностей изображений ОРО

Рассмотрим некоторые возможности методов текстурного анализа для решения задачи сегментации космических изображений с целью выделения участков подстилающей поверхности, содержащих ОРО. Для описания и распознавания текстур будем использовать подходы, основанные на анализе статистических, структурных и яркостных характеристик цветных и полутоновых изображений исследуемых областей.

Изображения свалок имеют ряд дешифровочных признаков, позволяющих их различать на космическом изображении и проводить дистанционный мониторинг объектов поверхности данного класса (Фраленко, 2014):

1. Случайный характер: контура объекта, распределения частей объекта на поверхности, пространственного распределения нормированного сигнала (коэффициентов спектральной яркости) текстуры объекта;
2. Случайный характер пространственного распределения сигнала;
3. Самоподобие контура, текстуры и формы объекта (наличие основного тела и частей объекта в окрестности);
4. Пространственная привязка к характерным природным и антропогенным объектам (берега, дороги, магазины, гаражи и т. д.);
5. Наличие основных и неосновных оттенков, примесей в составе текстуры, зернистость текстуры;
6. Многокомпонентность, наличие основного компонента с характерной текстурой, идентифицирующей объект (мусорный покров открытого типа), проявление объекта на поверхности (для крупных активных объектов);
7. Суточная, сезонная и хронологическая изменчивость текстуры, многообразие текстуры (в зависимости от типа отходов и свалки).

Основными дешифровочными признаками свалки являются форма и текстура изображений открытого мусорного покрова. Рассмотрим космические изображения ОРО с точки зрения совокупности геометрических и яркостных признаков.

Для свалок характерна высокая шероховатость поверхности, что наблюдается при лучшем разрешении (менее 1 м). Мусорный покров может быть перекрыт другими экранирующими поверхностями (облачностью, водой, растительностью, грунтом, снегом и др.), однако в зимнее время года объект может проявляться на поверхности. Смешивание мусора с другим «материалом» (песчаный и суглинистый грунт, растительность, уплотненная земля и т. д.) придает более сложный характер самой текстуре. Признаки различных технологических операций на изображениях участков размещения (складирования, депонирования отходов), например, дороги и тропинки как следы линейного движения «мусорного» транспорта и рабочих, также влияют на текстуру замусоривания, ее количественные и качественные характеристики.

Яркостными характеристиками ОРО с точки зрения визуального дешифрирования являются: основные и неосновные оттенки, примеси, пространственное сочетание различных оттенков. Изображения ОРО непостоянны и разнообразны, они меняются от: времени года и суток (угла падения солнечных лучей), размера и класса ОРО, компонентного состава, региона месторасположения, экранирующих поверхностей, пространственного разрешения.

Текстура — описание пространственной упорядоченности элементов изображения (Гурченков и др., 2017). Типичную текстуру открытого мусорного покрова можно описать случайным пространственным распределением яркости разного тона на разных спектральных каналах. Яркостные признаки варьируются в зависимости от: высоты Солнца относительно поверхности земли, которое меняется от времени суток и года, географических координат; характерных технологических операций на данном ОРО; примеси других компонент поверхности земли с отходами. К ним относятся, главным образом: основные оттенки — от белого до темно-серого разных концентраций; неосновные оттенки (примеси) — прежде всего, красные (чем выше высота Солнца, тем меньше концентрация примесей).

Текстурные и яркостные признаки ОРО меняются в зависимости от сезонного, суточного и хронологического времени. На рис. 1 показаны изображения типичной свалки (лежащей в окрестности рекультивируемого полигона ТКО Кучино, Московский регион) в разные моменты времени, на которых отражены текстурные и яркостные признаки ОРО. В разные сезоны, месяцы и дни года текстура открытого мусора циклически меняется, что выражается в изменении концентрации основных и неосновных оттенков. Но при этом можно выделить три момента времени года, при которых текстура меняется резко (скачком): экранирование поверхности объекта постоянным снежным покровом (ноябрь–декабрь); проявление поверхности объекта при таянии снежного покрова (март–апрель); экранирование поверхности объекта постоянным растительным покровом (май–июнь).

При наложении тех или иных экранирующих поверхностей «реальная» текстура отклоняется от «идеальной». В частности, по визуальным признакам фильтрационные процессы на свалках имеют свои яркостные особенности на космических изображениях: 1) выделяются компоненты фильтрационных процессов (фильтрационные водоемы и ручьи, следы течений, берега, насыпи грунта, накопления фильтрата в почве, сточные канавы); 2) фильтрат имеет различные формообразования (водоемы, ручьи и каналы, канавы и рытвины, водосборники и др.); 3) яркостные признаки изображений фильтрата меняются от сезонного времени и несколько отличаются от обычных водоемов в соответствующие моменты времени (это наблюдается при сопоставлении текстур вод вблизи свалок и в отдаленной окрестности); 4) при наложении текстуры фильтрата на различные подстилающие поверхности (растительность, суглинок, песок и др.) она сильно меняется.

 

Рис. 1. Изменение текстуры ОРО во времени: а – сезонные изменения (в течение 2010–2012гг.); б – хронологические изменения (лето) (полигон ТКО Кучино, изображения из Google Earth).

 

Рис. 2. Примеры цветовых аномалий на изображениях ОРО, моменты времени съемки: а — 13 марта 2010 г.; б — 20 ноября 2009 г.; в — 12 июля 2010 г.; г — 3 мая 2012 г. (полигон ТКО Дмитровский, изображения из Google Earth).

 

 

Т.к. свалка — источник активных физических и биохимических процессов, естественно возникновение цветовых аномалий на изображениях ОРО, особенно крупных. На рис. 2 — примеры цветовых аномалий на примере крупного ОРО (полигон ТКО Дмитровский, Дмитровский район, Московский регион), различимые в видимом спектре: а — свечение снега розово-зеленого цвета; б — зеленый цвет поверхности кластера участка размещения; в — разводы на выкопах фиолетового цвета; г — беспорядочные ярко-зеленые пятна и продолговатые темные полосы на поверхности.

 

Рис. 3. Типичные текстуры, характеризующие компонентный состав поверхности ОРО и ОС: а — общий вид ОРО (разметка участков с текстурами, областей и масштаба по осям); б — примеры текстур для данного ОРО (различные участки мусорного покрова, отличающиеся по времени формирования и компонентному составу); в — примеры текстур для областей, окружающих данную свалку (полигон ТКО Кучино, WorldView2, 2010).

 

Также следует учитывать компонентность поверхности крупных ОРО, т. е. разбиение поверхности на компоненты замусоривания, каждому из которых соответствует свой физический смысл. Основной компонентой является открытый мусорный покров, имеющий специфическую текстуру и выступающим в роли признака наличия свалки, после чего восстанавливаются остальные компоненты поверхности. На рис. 3: 1–8 — примеры текстур компонент полигона ТКО Кучино (текстуры «мусорных» компонент характеризуются спецификой морфологического состава, технологических операций и географической привязки) А–Е — ОС (А – открытая почва, Б — лесной массив, В — заросший водоем, Г — открытый водоем, Д — пашня, обработанная почва, Е — полевая растительность), U_1–5 — области изображений для проведения экспериментов в работе, область U₁ отражена на рис. 1.

Опишем некоторые проблемы, возникающие при детектировании ОРО и его компонент в процессе цифровой обработки.

Общим для текстур «чистых» форм замусоривания и с примесями является наличие светлых зерен в составе текстуры. Зерна — участки в составе текстуры ОРО, которые резко отличаются по яркости от фона и обнаруживаются на снимках разного пространственного разрешения (среднего, высокого и сверхвысокого), на разных каналах (прежде всего, видимых) и при разном наклонении Солнца.

Рассмотрим возможности выделения ОРО с использованием некоторых общепринятых методов кластеризации, таких как метод k-средних.

Изображение поверхности ОРО разделяется на классы поверхности — компоненты, характеризующиеся не только общими яркостными признаками, но и сосредоточенными в пространстве. Выделение таких компонентов имеет определенные сложности при обычной кластеризации (разделение по яркостным признакам). Сложность состоит в том, что при такой процедуре каждый кластер рассредоточен по всей поверхности и не имеет четкую пространственную локализацию. В связи с этим, такая кластеризация не позволяет выделить компонент, имеющий свои текстурные признаки и требуется проводить дополнительную обработку.

На рис. 4 приведен пример изменения сигнала при переходе из одной области поверхности (покрытие растительностью) в область замусоривания по обозначенному сечению для входного изображения на рис. 4а (область U₂ на рис. 3а). При кластеризации методом k-средних на два кластера, «темный» и «светлый», скачок (рис. 4б) среднего изменения яркости в сечениях происходит в местах резкого перехода из одной области в другую, хотя реально такой переход не является резким (q – яркость на красном канале, i — номер пикселя в сечении). В области замусоривания видим более резкие пространственные изменения сигнала, чем в области растительности. При классификации поверхности ОРО использование обычных методов кластеризации по яркости (цвету) (k-средних, iso-data и др.) недостаточно. В частности, при разбиении на «светлый» и «темный» кластеры самой текстуры замусоривания оказывается, оба кластера статистически распределены в пространстве: «черные» пиксели оказываются внутри «белых», а «белые» — внутри «черных»). Это приводит к необходимости дополнительной обработки: заполнение пустот цветом окружающего кластера (замена «черных» пикселей внутри «светлого» кластера на «белые», а «белых» внутри «черного» — на «черные», рис. 5в) либо построение линии регрессии границы (в местах перехода состояний) как оптимальной линии, разделяющей высокие концентрации пикселей кластера от низких.

 

Рис. 4. Результаты кластеризации участка размещения по яркостным и пространственным признакам (на границе между двумя кластерами): а — изображение на входе (область U₂ на рис. 4а); б — разбиение на два кластера после заполнения пустот цветом окружающего кластера; в — разрез яркости вдоль сечения (изменение сигнала при изменении «состояния» поверхности).

 

Рис. 5. Пространственное распределение пикселей текстуры открытого мусорного покрова: а — изображение на входе (область U₃ на рис. 4а); б — разбиение на три яркостных кластера; в — разбиение кластера открытого мусорного покрова на пространственные кластеры.

 

Случайный характер имеют не только яркости и их изменение, но и формы областей ОРО и их компонент. После кластеризации по яркостным признакам получаются кластеры, имеющие случайное пространственное распределение пикселей, принимающие линейную или площадную форму, но их трудно разграничить построением линий регрессии. Линейные кластеры — замусоривания вдоль дорог, проезжих частей, отвалы отходов, скопления мусора на границе разных уровней высот крупной свалки и др.; площадные — захламления, размещения отходов на произвольном или искусственно ограниченном участке. Пространственное распределение можно выразить зависимостью p(d), которая строится методом вариационных рядов, p — число пикселей на классовых интервалах, d — расстояние до пикселя от центра (для площадного кластера) и оси (для линейного кластера) распределения. Внутри ОРО распределение яркостей подчиняется в основном равномерному закону, кластеры крупных ОРО — нормальному, неупорядоченные размещения отходов (захламления территорий) — экспоненциальному, его одномерным (прямые или кривые линии) или двумерным (геометрические фигуры) формам.

В частности, при разбиении входного изображения методом k-средних (рис. 5а) (область U₃ на рис. 3а) на три кластера, «светлый», «серый» и «темный» (рис. 5б) «светлые» области имеют случайное пространственное распределение. По визуальным признакам: можно построить линии, разграничивающие пространственные кластер I от II, II от III и IV пространственные кластеры; различить кластер III линейной формы и IV — площадной (на рис. 5в). Но при цифровой обработке возникают трудности как с пространственной кластеризацией, так и с разделением на линейные и площадные кластеры (Бондур, Воробьев, 2015; Бондур и др., 2016; Bondur, 2011, 2014; Bondur, Vorobev, 2015; Bondur et al., 2017).

Таким образом, ОРО являются сложными объектами с точки зрения текстурных особенностей, в частности: изменчивость яркости в зависимости от сезонного времени и типа ОРО, случайные перепады яркости в тех или иных сечениях, разнообразие самого характера этих перепадов, нечеткость пространственной формы объектов и др. Вместе с тем, основной компонент ОРО (открытый мусорный покров) имеет характерные черты, для которых может быть проведена пространственно-текстурная сегментация.

Цветовая модель ОРО

Замусоривание можно детектировать преобразованиями цветовых систем координат и цветовых моделей. Модели (RGB, HSL, HSV, LMS и др.) «комбинируются» с разными системами координат (декартовой, конической, сферической, цилиндрической и др.), т. е. представляются разными геометрическими телами (параллелепипед, конус, сфера, цилиндр и др.), а одни цветовые модели и системы координат могут преобразовываться в другие.

 

В частности, «мусорные» компоненты можно отделить от компонентов окружающих областей настройкой преобразований: 1 — RGB => HSV; 2 — обратное преобразование: HSV => RGB; 3 — модель $\alpha \beta \gamma$ угловых отклонений цветового вектора от осей основных цветов (Горбунова, Чертов, 2015; Ивенс, 1964):

$\alpha =\text{atg}\frac{R}{S},\beta =\text{atg}\frac{G}{S},\gamma =\text{atg}\frac{B}{S},S=\sqrt{R^2+G^2+B^2}$.

Модель 1 хуже всего отличает одни цвета входного изображения от других. Модель 2 распознает растительность, крыши зданий и открытый мусорный покров. Модель 3 — зеленые (растительность), рыжие (грунт) и белые (мусор) тона входного полноцветного изображения.

Проблема оптимальной кластеризации ОРО по цвету состоит в разложении участка размещения и его окрестности на цветовые компоненты, которые были бы ближе всего к тому, как их различает «средний» человеческий глаз.

Математическую модель текстуры ОРО запишем в виде (Пестунов, Рылов, 2012):

$T=\left[\begin{array}{ccc}{T}_{11}& \mathrm{...}& T_{1n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}\\ T_{m1}& \mathrm{...}& T_{mn}\end{array}\right]$ ,  (1)

где T — модель текстуры, m — число каналов (m = 3), n — число кластеров (n=5), T_ij — модель i-го компонента (кластера) цвета на j-м канале, которая задается в виде $T_{ij}=\{M_m^{ij},S_m^{ij}\}$ — набора двух чисел: общего математического ожидания (МО) $M_m^{ij}$ и общего среднеквадратического отклонения (СКО) $S_m^{ij}$ яркости j-го кластера на i-м канале. При наличии более сложных зависимостей между выборочным МО M и СКО S модель цветового компонента задается в виде линии регрессии M(S) и плотности распределения отклонений от нее p(S). При упорядочивании элементов матрицы (1) вводится критерий:

$M_m^j<M_m^{j+1},M_m^j=\frac{1}{m}\cdot \sum _{i=1}^m{M}_m^{ij}$.

Простейшей текстурой по модели (1) является текстура одного значения яркости во всех точках на всех каналах $(n=\mathrm{1,}{S}_m^{ij}=0)$.

Входное изображение можно разбить на компоненты разных текстур (текстурные компоненты). Выделение кластеров по модели (1) проводится следующим образом. Вначале находится кластеризованное изображение (при постоянном или переменном числе кластеров). В соответствие с моделью (1) каждая текстура является смесью «чистых» текстур T_j. Таким образом, после кластеризации на n кластеров (матрицы I_j), дилатации каждого кластера (круглым окном) и выделения ненулевых пикселей получается n изображений с «раздутыми» кластерами J_j. Линейная комбинация изображений {J_j}

$J=\sum _{j=1}^n{a}_j\cdot J_j,a_{j+1}=\sum _{i=1}^j{a}_i+1$ (2)

дает изображение J, в котором одинаковым значениям элементов соответствуют одинаковые смеси «чистых» цветов. Переименование уникальных чисел в порядковые от 1 до a (a – число уникальных чисел) дает выделение «смеси» этих цветов. Рекурсивной процедурой в (2) обеспечиваются уникальные числа разным составам «чистых» текстур. В процессе дилатации матрицы I_j сворачиваются с концентрической матрицей-ядром радиуса r > 1 (при больших r расстояние между «чистыми» цветами в «смесях» увеличивается). На выходе изображение состоит из l «смесей» (классов поверхности), где l > n.

Заметим, что в модели (1) можно учесть пространственную концентрацию «чистых» компонент в составе «смеси» введением весовых коэффициентов («взвесей»): $\left\{k_j\right\},\sum _{j=1}^n{k}_j=1$. При равных концентрациях kj = 1/n = const.

По модели (1) алгоритм детектирования классов поверхности ОРО запишем в виде: 1) проводится кластеризация на n кластеров (по яркостным признакам); 2) для выделений каждого кластера выполняется дилатация круглым окном радиуса r; 3) выполняется алгебраическое преобразование (2) над полученными изображениями, в результате которого образуются l кластеров (по пространственным признакам).

Также можно учесть диапазоны допустимых расстояний между пикселями и их концентрацию в составе разных кластеров следующим образом. Строится общее кластеризованное изображение, в котором разным цифрам соответствуют разные яркостные кластеры. Данное изображение сканируется круглым окном радиусом r в каждой точке. Для того чтобы при свертке в этой точке было значение 1, необходимо удовлетворение условий: условие концентрации «чистых» компонентов —
k = [k_min k_max], где k_j = [k_jmin, k_jmax] — диапазон допустимых концентраций j-го компонента; условие пространственного распределения — rmin, rmax, где r_jk = [r_minjk, r_maxjk] — диапазон допустимых расстояний между j-м и k-м компонентами. В противном случае — ноль. Возможны и другие варианты задания условий.

 

Рис. 6. Разбиение изображения на текстурные компоненты: а — изображение на входе (область U₅ на рис. 3а; б — разбиение на три кластера по яркостным признакам; в — разбиение на семь кластеров по пространственным признакам по данным разбиения (б)).

 

На рис. 6 — пример получения кластеров по описанному выше алгоритму. По входному изображению (рис. 6а) (область U₅ на рис. 4а) методом k-средних получено разбиение на n = 3 яркостных кластера (рис. 6б). Взято круглое ядро свертки с r = 4. Текстурная кластеризация по модели (1) дает l = 7 кластеров (рис. 6в), каждому из которых соответствуют различные концентрации мусора на поверхности. Как видно из примера, данная модель дает грубое выделение классов поверхности ОРО, которые не удовлетворяют визуальному восприятию классов поверхности человеческим глазом.

Человек визуально воспринимает, прежде всего, привычные для него цвета: красный, желтый, коричневый, синий и т. д., — что позволяет ему легко отличать одни объекты от других. Однако исследования цветовых преобразований космических изображений высокого (детального) пространственного и спектрального разрешения, таких как WorldView2, GeoEye и др., показали, что машина в процессе цифровой обработки не всегда адекватно (близко к визуальному восприятию) отличают одни цвета от других в тех или иных цветовых моделях. При различных преобразованиях цветовых моделей на выходных изображениях возникают значительные ошибки детектирования, для борьбы с которыми нужно применять другие алгоритмы, получается многоступенчатая обработка. Однако если воспользоваться методикой матриц информационных признаков (МИП) для «чистых» цветов, ошибки детектирования уменьшаются (Рихтер, 2018). Выделив т. о. классы поверхности на изображении, можно осуществить морфологическую обработку (дилатацию или эрозию той или иной степени), в соответствие с алгоритмом и математической моделью текстуры (Фраленко, 2014; Плотников, 2018).

В соответствие с методикой МИП класс поверхности, определяется функциями f0ij средних значений зависимостей между яркостями x_i и x_j на i-м и j-м канале составных пикселей и Δ_fij отклонений от этих средних значений. f_0ij и Δ_fij находятся по эталонам класса — «чистый» участок объекта, выделенный на космическом изображении, который достоверно принадлежит данному классу. В интерактивном режиме просматривается снимок, обнаруживается объект и выделяется «чистая» полигональная область на нем (например, в ENVI). Тогда для каждой точки области известны яркости на всех каналах изображения, дающие  f_0ij и Δf_ij.

Критерий принадлежности пикселя изображения со значениями яркости (x, y) к классу (Фраленко, 2014; Плотников, 2018):

$\begin{array}{c}\left|f_{0ij}\left(x\right)-y\right|\le \Delta f_{ij}\left(x\right),x=x_i,y=x_j,i,j=\mathrm{1,...}n,\\ x_{\min }\le x\le x_{\max }.\end{array}$

x_i — яркость пикселя класса на i-м канале, n — число каналов, F = {f_0ij}, ΔF = {Δf_ij} — функционалы МИП, [x_min, x_max] — диапазон значений яркости пикселей класса на i-м канале.

Критерий выделения класса:

$f_1\left(x\right)\le y\le f_2\left(x\right),x=x_i,y=x_j,i,j=\mathrm{1,...}n$.

F1 = {f_1ij}, F2 = {f_2ij} — также функционалы МИП.

На рис. 7б показан пример детектирования классов поверхности методикой МИП на входном космическом изображении (рис. 7а) (область U₄ на рис. 4а). Всего взято десять основных цветов: 1) красный, 2) оранжевый, 3) желтый, 4) зеленый, 5) голубой, 6) синий, 7) фиолетовый, 8) белый, 9) серый, 10) черный (базис МИП). В качестве эталона оранжевого цвета (его оттенков) взят рисунок цветка из интернета. Как видно, по визуальным признакам «оранжевый» кластер выделяется попиксельно, в отличие от грубого выделения классов поверхности по модели (1).

Таким образом, компонентный состав ОРО может быть описан различными цветовыми моделями, но наиболее эффективной из рассмотренных подходов с точки зрения визуального восприятия оказывается использование матриц информационных признаков для выделения компонентов и классификации поверхности.

Фрактальные свойства ОРО

Как было показано выше изображение мусорного покрова представляет собой структуру, состоящую из фрагментов, визуально различимые структурные свойства которых повторяются при изменении масштаба, то есть обладает свойством самоподобия, поэтому для его детектирования можно использовать фрактальные признаки. Фракталы — объекты, имеющие самоподобие и измеряемые разными параметрами: плотностью самоподобия, фрактальной размерностью и ее полем, точностью определения и построения и др. (Зельдович, Соколов, 1985; Божокин, Паршин, 2001; Мандельброт, 2002).

Для полутоновых изображений имеет смысл определить два вида фрактальной размерности (Крылов, 2003):

• в пространстве топологической размерности
  n = 2 (на плоскости), где учитывается только пространственное распределение пикселов и не учитывается яркость, что эквивалентно рассмотрению бинарного изображения на плоскости;
• в пространстве топологической размерности n = 3, где к пространственным координатам пикселов добавляется их яркость в качестве третьего измерения.

Для всестороннего изучения фрактальных свойств изображений ОРО рассматривались различные алгоритмы вычисления фрактальной размерности — как непосредственно по полутоновому изображению, так и с предварительной бинаризацией изображения по заданному порогу.

Для расчета фрактальной размерности изображение разделяется на элементы покрытия (квадраты) размером r и строится зависимость заполнения элементов покрытия от размера r. Фрактальная размерность фрагмента полутонового изображения f может быть рассчитана как коэффициент наклона линии регрессии для функции v(u), где (Мандельброт 2002)

$u=\ln \frac{1}{r},v=\ln N.$ (3)

На рис. 8а приведен пример расчета фрактальной размерности.

Величину N для фрагмента полутонового изображения рассчитаем по формуле:

$N=\sum _{k=1}^l\left(b_k-a_k\right)$ , (4)

a_k и b_k — минимальное и максимальное значение яркости, в k-м квадрате (элементе покрытия) входного изображения, l — число элементов покрытия изображения. При этом учитываются только те пикселы изображения, нормированная яркость которых (отношение яркости пиксела к максимальному значению в пределах фрагмента) превышает пороговое значение q.

 

Рис. 7. Детектирование компонента «песчаный грунт» на участке размещения с помощью МИП (кластера разных оттенков одного цвета): а — изображение на входе (область U₄ на рис. 4а); б — выделение кластера

 

Рис. 8. Исследование фрактальных свойств областей ОРО: а — пример зависимости v(u) и ее линии регрессии v'(u) (объяснение в тексте); б — участки замусоривания разной цветности, но близкие по фрактальной размерности; в — пример участка замусоривания, сохраняющего фрактальную размерность при повороте и масштабировании (объяснение в тексте) (полигон ТКО Кучино, изображения из Google Earth)

 

На значение фрактальной размерности цвет влияет слабо, поэтому ее оценка может быть дана по полутоновому изображению, либо по одному каналу цветного изображения. На рисунке рис. 8б показаны текстуры замусоривания разной цветности, но близкие по фрактальной размерности. Фрактальная размерность, рассчитанная по формулам (3), (4) для показанных фрагментов (полутоновые изображения, голубой канал) составляет: 1) f = 1.26; 2) f = 1.83; 3) f = 1.316; 4) f = 1.28; 5) f = 1.31. На рис. 8а — зависимость v(u) (3) для фрагмента (1).

Повороты изображения, изменения пространственного разрешения, размеры фрагмента изображения, масштабы его увеличения или уменьшения слабо влияют на значение фрактальной размерности (рис. 8в). На рисунке показаны текстуры замусоривания: 1) выбранной тестовой территории (f = 1.582); 2) участка тестовой территории при увеличении масштаба в ~3 раза (f = 1.513); 3) при дополнительном увеличении в ~2 раза и повороте на 45° (f = 1.473).

В случае изображения, бинаризованного с заданным порогом яркости q, информативная область состоит из единиц, а фоновая область — из нулей (Мурынин, Лупян 1990; Крылов 2003). Для вычисления фрактальной размерности такого изображения выполняется покрытие квадратами с размерами сторон r и строится зависимость числа элементов покрытия l, т. е. квадратов, в которые попали элементы изображения, яркость которых равна 1, от r. Фрактальная размерность f определяется как параметр линейной аппроксимации полученной зависимости.

 

Рис. 9. Расчет изменения фрактальной размерности: а — входное изображение; б — поле фрактальной размерности по формуле (4); в — изображение лесного массива; г — изображение мусорного покрова; д — зависимости фрактальной размерности для лесного (f₁, для изображения в) и мусорного (f₂, для изображения г) покровов от порога яркости q.

 

Для возможности детектирования ОРО по значениям фрактальной размерности может быть просчитано поле фрактальной размерности в каждой точке полутонового или полноцветного изображения.

Для этого в окрестности точки входного изображения берется фрагмент (квадратный участок), который контрастируется и приводится к диапазону яркостей от 0 до 1, затем для полученного изображения находится f, которому соответствует фрактальная размерность в этой точке по формулам (3)–(4).

На рис. 9 приведены результаты исследования фрактальных свойств изображений мусорного покрова на примере тестового объекта — полигона Кучино. На рис. 9а показан тестовый фрагмент изображения, содержащий участок мусорного покрова и фоновой территории, а на рис. 9б — поле фрактальной размерности для этого тестового фрагмента. При построении поля фрактальной размерности вокруг каждого пиксела исходного изображения выделялся квадрат фиксированного размера 200 × 200 пикселов. В этом квадрате выполнялась нормировка яркости и вычислялась фрактальная размерность с использованием формул (3)–(4) с порогом нормированной яркости
q = 0.75. Полученные значения фрактальной размерности представлялись как яркости соответствующих пикселов выходного изображения, показанного на рис. 9б.

Светлые участки на рис. 9б соответствуют фрактальной размерности ~1.8 и достаточно хорошо соответствуют положению мусорного покрова на рис. 9а. Свалка заметно отличается от других объектов окружающей среды (лесного массива, поля, водоема, открытого грунта и др.).

Следует подчеркнуть, что при расчете фрактальной размерности используются не абсолютные, а относительные значения яркости изображения, поэтому разница в средней яркости мусорного покрова и окружающих областей не является определяющей при работе алгоритма. Это иллюстрируется рис. 9в–г, где показаны примеры нормированных фрагментов изображений мусорного покрова и леса, которые использовались при расчете фрактальной размерности. Полутоновые изображения получены из полноцветных, а затем контрастированы и нормированы к диапазону яркостей от 0 до 1.

На рис. 9д показана зависимость фрактальных размерностей f изображений от значений порога нормированной яркости q. Сопоставлены зависимости f(q) для лесного (график f₁) и мусорного (график f₂) покрова. Рисунок показывает, что для объектов естественного лесного массива и свалок зависимость фрактальной размерности f от порога нормированной яркости q существенно различна, что позволяет использовать эту характеристику для отличия одного объекта от другого.

Диапазон величин фрактальных размерностей можно оценить по изображениям, полученным из полутоновых высокого пространственного разрешения на большой области покрытия при различных величинах порога нормированной яркости q.

Как показали исследования, детектирование свалок можно выполнять по фрактальной размерности, которая является одним из дешифровочных признаков ОРО. Рассчитывается зависимость f(q), где f — фрактальные размерности бинарных изображений K(q), полученных из входного I (изображение ОРО) пороговой фильтрацией по нижнему порогу нормированной яркости q.

Таким образом, для детектирования областей замусоривания по значениям фрактальных размерностей следует использовать следующую последовательность вычислительных операций:

• Задается набор значений порога нормированной яркости q, зависящий от условий получения исходных изображений;
• Исходное изображение сканируется квадратным окном размера r с фокусировкой на каждом пикселе с заданными значениями порога нормированной яркости q;
• Рассчитывается поле фрактальных размерностей, т. е. просчитывается фрактальная размерность в окрестности r каждой точки;
• Выделяются области со значениями фрактальных размерностей, характерных для замусоривания.

Таким образом, показана принципиальная возможность детектирования свалок по фрактальной размерности космических изображений. Полученный результат может быть использован при разработке алгоритмов интеллектуальной обработки данных дистанционного зондирования с использованием машинного обучения и искусственного интеллекта.

ЗАКЛЮЧЕНИЕ

Показано, что объекты размещения отходов (ОРО), регистрируемые на космических изображениях высокого разрешения, имеют ряд информативных признаков, позволяющих отличить эти объекты от других классов объектов на поверхности Земли. Изображение ОРО разделяется на участки поверхности, характеризующиеся как общими яркостными признаками, так и структурными признаками. Для выделения таких участков требуется совместный анализ яркостных и текстурных характеристик.

Показано, что с помощью общедоступных программных средств, таких как Google Earth, можно проводить дешифрирование этих объектов, а после разработки соответствующих программ автоматизировать процесс дешифрирования на обширных территориях.

Рассмотрены статистические, фрактальные и цветовые свойства текстуры ОРО. Продемонстрирована принципиальная возможность детектирования свалок по совокупности текстурных и цветовых особенностей, таких как наличие специфических цветовых оттенков и характерная зернистость текстуры. Показана также возможность выделения областей, содержащих ОРО, путем фрактального анализа бинаризованных изображений с учетом характерных значений фрактальных размерностей областей замусоривания.

Полученные результаты могут быть использованы для картографирования и разработки баз данных ОРО, а также для обнаружения несанкционированных свалок твердых коммунальных отходов при дистанционном космическом мониторинге обширных территорий.

Рассмотрены суточная, сезонная и многолетняя изменчивость текстур открытого мусорного покрова на ОРО. Полученные результаты могут быть использованы для мониторинга территорий, содержащих ОРО, с учетом возможного экранирования объектов растительностью в летнее время и снегом в зимнее время.

Выбор информативных признаков ОРО показал, что существенными для цифровой обработки являются фрактальные признаки, которые зависят в основном от пространственной упорядоченности элементов изображения, а не от значений спектральной яркости. Проведенный анализ показал, что фрактальная размерность космических изображений и ее зависимость от порога нормированной яркости отличается для изображений ОРО и других объектов земной поверхности.

Полученные результаты могут служить методической основой при решении ряда практических задач:

• обнаружение несанкционированных объектов размещения отходов на заданной области наблюдения (населенный пункт, район, окрестность крупного объекта, природоохранная зона, прибрежная, промышленная зона и т. д.);
• картографирование и разработка геоинформационных баз данных санкционированных и несанкционированных объектов;
• оценка соблюдения требований проектирования, эксплуатации и рекультивации для полигонов ТКО и др.

По результатам проведенных исследований ведется разработка алгоритмов интеллектуального дешифрирования ОРО наряду с другими объектами земной поверхности, с использованием обучаемых искусственных нейронных сетей. Для такой разработки требуется решения следующих задач: разработка методик построения обучающих выборок для обучения создаваемых алгоритмов на основе реальных данных, получаемых с космических аппаратов и с беспилотных летательных аппаратов, а также методик, обеспечивающих оптимальное обучение искусственных нейронных сетей для решения поставленных задач; разработка методов и алгоритмов предобработки аэрокосмических изображений, обеспечивающих выделение выбранных информативных признаков.

ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследования проведены при финансовой поддержке Минобрнауки России (уникальный идентификатор проекта RFMEFI58317X0061).

About the authors

A. B. Murynin

AEROCOSMOS Research Institute for Aerospace Monitoring; Research Center "Computer Science and Control" of the Russian Academy of Sciences

Author for correspondence.
Email: amurynin@bk.ru
Russian Federation, Moscow; Moscow

A. A. Richter

AEROCOSMOS Research Institute for Aerospace Monitoring

Email: urfin17@yandex.ru
Russian Federation, Moscow

M. A. Shakhramanyan

AEROCOSMOS Research Institute for Aerospace Monitoring

Email: 7283763@mail.ru
Russian Federation, Moscow

References

Supplementary files