Сравнительная оценка различных архитектур сверточных нейронных сетей для семантической сегментации нарушений лесного покрова по разновременным спутниковым снимкам

Полный текст

ВВЕДЕНИЕ

Распознавание нарушений лесного покрова по спутниковым снимкам является важнейшим элементом систем дистанционного мониторинга лесных ресурсов и поддержки принятия решений, действующих на региональном (Лупян и др., 2016), национальном (Барталев и др., 2016) или глобальном (Hansen et al., 2013) уровнях. Современные методы распознавания нарушений лесного покрова широко используют возможности машинного обучения. В частности, для сегментации и классификации спутниковых снимков успешно применяются методы опорных векторов (Mountrakis et al., 2011), деревья решений (Hansen et al., 2013) и классификатор случайного леса (Rodriguez-Galiano et al., 2012). Но наиболее перспективными для семантической сегментации изображений, и в частности для выявления изменений на разновременных спутниковых снимках, считаются сверточные нейронные сети (СНС) (Горбачев и др., 2020). Изначально СНС разрабатывались для решения задач, не связанных с дистанционным зондированием Земли (ДЗЗ). Например, СНС архитектуры U-net была разработана для анализа биомедицинских изображений (Ronneberger et al., 2015), и только с 2018–2019 гг. началось ее успешное применение для сегментации данных ДЗЗ. Основное преимущество СНС перед попиксельными методами состоит в том, что они обеспечивают возможность совместного анализа спектральных, геометрических и текстурных свойств объектов на изображениях (Larabi et al., 2016; Mou et al., 2019).

К настоящему времени опубликовано уже значительное число работ, посвященных сегментации нарушений лесного покрова с помощью СНС. Так, СНС успешно применяются для мониторинга рубок леса по снимкам Sentinel-2, причем особенно они эффективны для сегментации проходных и выборочных рубок (Isaienkov et al., 2021; Тарасов и др., 2021; Канев и др., 2022), а также лесных дорог (Trier et al., 2022). Также СНС успешно используются для сегментации рубок по снимкам сверхвысокого разрешения и по аэрофотоснимкам (Pyo et al., 2022). СНС показали высокую эффективность при сегментации ветровалов как по снимкам Sentinel-2 (Scharvogel et al., 2020; Канев и др., 2022), так и по снимкам сверхвысокого разрешения и аэрофотоснимкам (Kislov, Korznikov, 2020; Kislov et al., 2021). За последние годы в мире накоплен значительный опыт сегментации с помощью СНС последствий пожаров в лесах умеренного (Knopp et al., 2020), субтропического (Al-Dabbagh et al., 2022; Lee et al., 2022) и тропического (Shirvani et al., 2023) поясов по одиночным и по разновременным снимкам Sentinel-2. Показатели точности сегментации гарей (общая точность, коэффициент Каппа и F-мера) в перечисленных работах достигают 0.95 – 0.98. В работе (Lee et al., 2022) также показано существенное преимущество СНС архитектуры U-net в сравнении с методами градиентного бустинга и случайного леса при сегментации гарей.

В большинстве перечисленных работ для сегментации снимков использовались СНС архитектуры U-net или ее модификации, такие как U-Net ++ (Al-Dabbagh et al., 2022), Attention U-net (Shirvani et al., 2023) и Residual U-Net (John and Zhang, 2022). На фоне множества работ, в которых показано успешное применение СНС для выделения нарушений лесного покрова по снимкам, меньшее внимание уделяется факторам, влияющим на точность сегментации (тип нарушения, степень повреждения насаждения, преобладающая порода в древостое, освещенность склонов). С учетом этого, в настоящей работе решаются две основные задачи:

(1) с применением ранее созданных авторами (Канев и др., 2022) обучающих и проверочных наборов данных выполнено сопоставление точности сегментации вырубок разных типов, гарей и ветровалов с помощью нескольких модификаций СНС архитектуры U-net;

(2) оцениваются факторы, влияющие на точность распознавания нарушений лесного покрова, в частности тип нарушения (для вырубок), степень повреждения насаждения, преобладающая порода в древостое, освещенность склонов.

ДАННЫЕ И МЕТОДЫ

Обучающие и проверочные данные. Для обучения СНС распознаванию вырубок и ветровалов был использован набор данных, созданный на основе разновременных и разносезонных спутниковых снимков Sentinel-2 (Канев и др., 2022). Дополнительный обучающий набор был создан для распознавания гарей. Он включает 426 гарей от пожаров, наблюдавшихся в лесной зоне Европейской территории России (ЕТР), Урала и Западной Сибири в 2016-2021 гг., оцифрованных вручную по снимкам Sentinel-2. Часть контуров гарей была извлечена из данных Global Forest Change (Hansen et al, 2013), которые имеют пространственное разрешение 30 м.

Непосредственно для обучения СНС были сгенерированы тайлы размеров 256×256 пикселей, в каждом из которых содержится целевая маска (наличие или отсутствие нарушения лесного покрова) и набор входных признаков. В качестве таковых использованы наиболее информативные каналы видимого (B4), ближнего ИК (B8) и среднего ИК (B11, B12) диапазонов спектра, а также их разности. Перечень признаков и обоснование их выбора, а также особенности формирования тайлов для обучения рассмотрены в ранее опубликованных работах (Тарасов и др., 2021; Канев и др., 2022). Для обучающих тайлов гарей также была выполнена фильтрация – исключены те тайлы, где целевая маска (выгоревшая территория) покрывает более 30% от площади тайла. Это было необходимо, поскольку площади гарей значительно превышают площади вырубок и ветровалов. Всего при обучении использовано 6463 объекта разных типов, включая сплошные рубки (1937), проходные рубки (1559), выборочные рубки (393), лесные дороги (316), гари (1138) и ветровалы (1448). Тип рубок определялся на основе текстуры изображения и спектральных характеристик: для сплошных рубок характерно полное изъятие древостоя и наиболее резкое изменение яркости пикселей, для проходных рубок – наличие магистрального волока и радиально отходящих от него волоков, а для выборочных рубок – отсутствие выраженного рисунка с магистральным волоком и наименьшее (в сравнении с другими типами рубок) изменение спектральной яркости (см. подробнее Шихов и др., 2020). Примеры приведены на рис. 1.

 

Рис. 1. Примеры размеченных данных о нарушениях лесного покрова для обучения СНС.

 

Основной валидационный набор данных также был создан в ходе ранее опубликованной работы (Канев и др., 2022). Вырубки и ветровалы размечены на трех тестовых участках, которые представляют собой ячейки глобальной разграфки данных Sentinel-2 с идентификаторами T40VDJ, T40VEM и T39VWH. Они расположены на территории Пермского края и Республики Коми и существенно различаются по доле лесопокрытой территории, преобладающим породам в древостое и характеру лесопользования (рис. 2а). Для каждого участка выбраны по 4 безоблачных сцены Sentinel-2, полученные с интервалом около полугода (зимние и летние безоблачные снимки 2021 и 2022 гг.). По разновременным снимкам были оцифрованы нарушения лесного покрова, появившиеся за этот период (всего 1796 вырубок на общей площади 14695 га и 779 участков ветровалов на общей площади 1323 га). Для каждой вырубки также определен тип (сплошная, проходная, выборочная рубка или лесная дорога).

 

Рис. 2. Ячейки глобальной разграфки Sentinel-2, выбранные для валидации результатов распознавания нарушений лесного покрова (а), снимок Sentinel-2 на ячейку T39VWH за 13.07.2021 г. (б) и результаты классификации типов растительного покрова по данному снимку (в).

 

На основе этого проверочного набора данных оценивалась точность распознавания вырубок и ветровалов по парным снимкам одного сезона, полученным с интервалом около года (по три летних и зимних пары снимков), а также по разносезонным снимкам, полученным с интервалом в полгода (всего 9 пар снимков). Таким образом, всего рассмотрены 15 пар снимков. Для исключения ошибок, связанных с нелесопокрытыми территориями, использовалась маска леса, созданная на основе данных проекта Global Forest Canopy Height 2020 г. (Potapov et al., 2021). Поскольку на выбранных тестовых участках за рассматриваемый период не наблюдались лесные пожары, выборка гарей была создана отдельно. Она включает 14 гарей на общей площади 31713 га (площадь отдельных гарей от 266 га до 15216 га), которые наблюдались в 2021–2022 гг. в разных районах ЕТР (в республиках Карелия, Коми и Марий Эл).

Данные для оценки факторов, влияющих на точность распознавания. Для оценки влияния преобладающей породы в древостое на точность распознавания нарушений лесного покрова для трех тестовых сцен Sentinel-2 (T40VDJ, T40VEM и T39VWH) средствами пакета ESA SNAP была выполнена классификация с применением классификатора Random Forest. Для классификации были выбраны наиболее информативные спектральные каналы: красный (B4), красный крайний (B5), ближний ИК (B8) и средний ИК (B11) безоблачных снимков летнего сезона 2021 г., которые были приведены к пространственному разрешению 20 м. Легенда классификации создана в соответствии с легендой Карты растительности России (Барталев и др., 2016). При создании обучающей выборки для классификации с геопривязанного оригинала данной карты были выбраны крупные участки лесов, соответствующие каждому из классов (темнохвойные, сосновые, смешанные с преобладанием хвойных, смешанные с преобладанием лиственных и лиственные леса). Эталоны были выбраны в пределах данных участков (по 10–15 эталонов для каждого класса, чтобы обеспечить репрезентативность). Обучающая выборка корректировалась по факту применения процедуры классификации и экспертной оценки результата. Для уточнения лесопокрытой территории выполнено также ее маскирование на основе красного канала снимка, полученного в зимний сезон.

Оценку точности самой классификации не удалось выполнить по причине отсутствия доступных проверочных данных (например, актуальной лесоустроительной документации для данной территории). Для получения общего представления о степени неопределённости классификации рассмотрены значения метрики Precision, известной также как точность пользователя. Она рассчитывается в пакете SNAP непосредственно в процессе обучения классификатора. Для всех классов, кроме смешанных лесов, значения метрики Precision превышали 0.9, что указывает на высокую надёжность результатов классификации. Для смешанных лесов значение Precision составляет 0.75–0.9, что обусловлено частичным перемешиванием двух классов (смешанные леса с преобладанием лиственных и с преобладанием хвойных).

Результирующие растры подвергались однократному сглаживанию с помощью фильтра большинства и далее использовались для присвоения атрибута (преобладающей породы в древостое) каждому участку нарушения лесного покрова из описанного выше валидационного набора (за исключением тех, где нарушение уже произошло на момент получения классифицируемого снимка). Всего выделено 5 классов лесов: темнохвойные, сосновые, смешанные с преобладанием хвойных, смешанные с преобладанием лиственных и лиственные (рис. 2в).

Помимо характеристик нарушений лесного покрова и преобладающей породы в древостое, на точность их распознавания по снимкам зимнего сезона могут влиять тени, обусловленные рельефом. Для оценки их возможного влияния была использована ЦМР FABDEM с пространственным разрешением 30 м (Hawker et al., 2022), по которой был построен растр освещенности (теневая отмывка). Данные об азимуте солнца и угле освещения получены из метаданных снимков Sentinel-2. Влияние освещенности анализировалось только для снимков зимнего сезона, полученных для участка T40VEM, часть территории которого приходится на горную часть Северного Урала.

Выбор архитектуры и обучение нейронных сетей. Большинство нейросетевых алгоритмов семантической сегментации изображений имеют общий принцип построения архитектуры. Сначала для выделения семантической информации изображение преобразуется в вектор признаков с помощью сети-шифровальщика (encoder), затем вектор обратно разворачивается в матрицу изображения с помощью сети-дешифровальщика (decoder). В качестве сети-энкодера часто используют различные заранее обученные свёрточные сети. Построение сети-декодера предполагает построение попиксельной карты разметки высокого разрешения по семантической карте низкого разрешения, т.е. восстановление пространственной информации (Горбачев и др., 2020). В настоящей работе для сегментации нарушений лесного покрова по спутниковым снимкам использовалась СНС архитектуры U-net с разными энкодерами (ResNet50, MobilNetv2), а также модификациями самой архитектуры (MultiRes U-Net, Attention U-Net). Некоторые из этих модификаций ранее уже показали высокую эффективность для решения аналогичных задач (Shirvani et al., 2023).

Выбор архитектуры U-net был обусловлен ее способностью сегментировать выборочные и проходные рубки как целостные объекты (Isaienkov et al., 2021; Тарасов и др., 2021) и в целом успешным опытом применения для распознавания нарушений лесного покрова по спутниковым снимкам. Данная архитектура сохраняет размер входного сегментированного изображения без дополнительных преобразований, поэтому результаты сегментации можно легко совместить с исходными данными, что важно при валидации.

Архитектура MultiRes U-Net отличается от U-net прежде всего тем, что она включает операции свертки 5×5 и 7×7 параллельно с операцией свертки 3×3, доступной в U-Net (Ibtehaz and Rahman, 2020). В результате MultiRes U-Net выигрывает по производительности и качеству при сегментации сложных изображений (имеющих шум или искажения) и дает более надежные и устойчивые результаты.

Архитектура Attention U-net отличается от обычной U-Net тем, что в нее включен так называемый “механизм внимания”, который направлен на воспроизведение способности человека концентрироваться на определенных объектах. Механизмы внимания позволяют обрабатывать фильтры по-разному в зависимости от контента (в данном случае – от свойств изображения) и облегчают обучение с использованием меньшего количества фильтров (John and Zhang, 2022).

Архитектура ResNet50 U-net представляет комбинацию архитектур ResNet50 и U-net. ResNet50 – это полностью сверточная нейронная сеть глубиной 50 слоев. Она включает 4 блока свертки и 4 последовательных по размерам части кодирования (He et al., 2016). Архитектура U-net в данном случае используется как расширение.

Архитектура MobilNetv2 U-Net представляет комбинацию архитектур MobileNetv2 и U-Net. Для выделения семантической информации изображение преобразуется в вектор признаков с помощью архитектуры MobileNetv2, оптимизированной для мобильных устройств, что повышает производительность (Sandler, 2018). Декодер использует архитектуру на базе U-Net.

При обучении данные были разделены на обучающий и проверочный поднаборы в соотношении 17:3. Все виды нарушений лесного покрова сведены к одному классу. Энкодеры и декодеры всех моделей состоят из 4-х слоев. Модели обучались в течение 200 эпох со скоростью обучения 1e^-3 (после 15 эпох без изменения функции потерь скорость обучения снижается в 0.1 раза). Размер подвыборки для обучения (batch size) был равен 8. В качестве функции потерь использован коэффициент Дайса, который обеспечивает устойчивость к несбалансированности выборок. В основном значения параметров обучения соответствуют тем, которые использовались ранее в работе (Канев и др., 2023). Для оптимизации вычислений был выбран оптимизатор адаптивной оценки момента (ADAM), повышающий производительность при решении задач с разреженными градиентами. Обучение завершалось после прохождения 200 эпох, и модель с лучшим коэффициентом Дайса сохранялась для последующей работы. Для оценки результата используются общепринятые метрики: коэффициент Дайса, Sensitivity, Specifity и F-мера. Графики обучения приведены на рис. 3, а оценки точности, полученные по проверочному поднабору − в табл. 1–2.

 

Рис. 3. Функции потерь (а) и коэффициент Дайса (б) на проверочном наборе данных (по оси X показано число эпох при обучении).

 

Таблица 1. Оценки точности, полученные на проверочном поднаборе данных при обучении

Модель	Коэффициент Дайса	Sensitivity	Specificity	F-мера
U-Net	0.753	0.767	0.996	0.753
Attention U-Net	0.772	0.811	0.996	0.772
MultiRes U-Net	0.737	0.682	0.998	0.737
MobilNetv2 U-Net	0.772	0.771	0.997	0.772
ResNet50 U-Net	0.402	0.415	0.991	0.402

 

Таблица 2. Точность распознавания (коэффициент Дайса) различных типов нарушений лесного покрова по проверочному поднабору данных

Модель	Сплошные рубки	Проходные рубки	Лесные дороги	Ветровалы	Гари	Выборочные рубки
U-Net	0.666	0.660	0.021	0.434	0.944	0.563
Attention U-Net	0.667	0.641	0.034	0.434	0.948	0.598
MultiRes U-Net	0.677	0.501	0.015	0.334	0.956	0.456
MobilNetv2 U-Net	0.689	0.651	0.050	0.343	0.961	0.623
ResNet50 U-Net	0.341	0.271	0.041	0.039	0.876	0.208

 

Все использованные модели, кроме ResNet50 U-Net, на тестовой подвыборке показали высокую точность сегментации нарушений лесного покрова, при этом у моделей Attention U-Net и MobilNetv2 U-Net точность оказалась несколько выше. Эти две модели, а также модель U-net, обученная в ходе работы (Канев и др., 2023), оценивались далее на независимом наборе данных. Также выявлены существенные различия в распознавании различных видов нарушений. По всем моделям получена низкая точность распознавания лесных дорог и ветровалов, а наиболее высокая точность характерна для гарей.

Оценка моделей на независимом наборе данных. С помощью обученных моделей, которые показали максимальную точность на тестовой подвыборке (Attention U-Net и MobilNetv2 U-Net), а также модели U-net, обученной ранее (Канев и др., 2023), была выполнена сегментация нарушений лесного покрова по вышеописанному независимому набору данных (15 пар сцен Sentinel-2). Точность оценивалась по матрице ошибок, на основе которой рассчитаны метрики Precision (точность), Recall (полнота) и F-мера. При расчете матрицы ошибок в качестве TP (True Positive) рассматривалась площадь пересечения нарушений, выделенных по модели машинного обучения и по проверочному набору данных. Пороговое значение вероятности изменений в результирующих растрах принято равным 0.2 (все пиксели, в которых значение было свыше 0.2, оценивались как изменения). Такое значение порога близко к ранее использованному (Канев и др., 2023) и в целом обеспечивает оптимальное соотношение пропусков и ложных срабатываний, хотя большинство объектов, классифицированных как нарушения, и имеют показатель вероятности, близкий к единице. Для оценки влияния преобладающей породы в древостое на точность сегментации были сопоставлены значения метрик точности для вырубок и ветровалов, выделенных в разных типах леса (эти расчеты выполнены только для пар снимков, полученных в летний сезон).

 

Таблица 3. Общая оценка точности распознавания нарушений лесного покрова по снимкам Sentinel-2 на независимом наборе данных (приведены значения F-меры)

Тестовый участок	T40VDJ			T39VWH			T40VEM			Среднее для модели
Модель/сезон	Зима	Лето	Переходные	Зима	Лето	Переходные	Зима	Лето	Переходные
U-net	0.66	0.33	0.33	0.78	0.79	0.60	0.51	0.73	0.58	0.59
Attention U-Net	0.47	0.24	0.30	0.75	0.56	0.59	0.34	0.35	0.56	0.46
MobilNetv2 U-Net	0.48	0.27	0.29	0.79	0.69	0.61	0.51	0.67	0.45	0.53
Среднее по сезону	0.54	0.28	0.31	0.77	0.68	0.60	0.45	0.58	0.53
Среднее по сцене	0.37			0.68			0.52

 

Аналогичным образом выполнена оценка точности распознавания лесных гарей на основе вышеописанного валидационного набора данных. При этом использовались данные о тепловых аномалиях NASA FIRMS, полученные со спутника SUOMI NPP (в виде термоточек). Вокруг группы термоточек, связанных с каждым оцениваемым пожаром, была построена буферная область шириной 2 км, и оценка проводилась в пределах этой области, чтобы избежать ошибочного включения других нарушений лесного покрова, не связанных с пожаром.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Оценка точности сегментации нарушений лесного покрова с помощью разных моделей СНС на независимых данных. На первом этапе выполнено общее сравнение точности сегментации (по показателю F-меры) для зимних, летних и разносезонных пар снимков. Модель U-net, обученная в рамках работы (Канев и др., 2023), показала существенно более высокую точность сегментации, чем две модифицированные модели, причем ее преимущество проявляется вне зависимости от сезона съемки. Точность сегментации вырубок и ветровалов по зимним парам снимков ожидаемо оказалась выше, чем по летним и по разносезонным парам снимков. Однако различия не столь велики, как можно было ожидать (среднее значение F-меры по сезонам составляет 0.59, 0.51 и 0.48 соответственно). Наиболее значительные различия по точности выявлены между разными тестовыми участками, что обусловлено особенностями практики лесопользования (средней площадью участка нарушений, долей сплошных рубок), а также преобладающих пород в древостое.

Соотношение метрик Precision и Recall (точность и полнота) показывает, что в большинстве случаев модели занижают площадь нарушений лесного покрова. Наиболее существенное занижение выявлено по снимкам летнего сезона, тогда как по зимним парам снимков площадь нарушений оказывается даже несколько завышенной (табл. 4). Это обусловлено более значительным изменением спектральной яркости поверхности на выборочных и проходных рубках на зимних снимках в сравнении с летними снимками (поскольку зимой на участках с вырубленными деревьями открывается снежная поверхность с высокой яркостью в видимом диапазоне спектра). Также значительные различия выявлены при сравнении тестовых участков. Так, для участка T40VDJ метрика Precision превышает Recall в среднем почти в два раза (т.е. имеется сильное занижение площади нарушений по снимкам любого сезона), тогда как для сцены T39VWH площадь нарушений даже несколько завышена (табл. 4). Использование в качестве дополнительного фильтра маски леса для исключения ошибочного распознавания объектов на нелесных участках в большинстве случаев не приводит к повышению точности распознавания. Лишь по одной паре снимков таким способом удалось повысить значение F-меры с 0.37 до 0.43.

 

Таблица 4. Соотношение метрик Precision и Recall при распознавании нарушений лесного покрова в зависимости от сезона съемки и для разных тестовых участков

Сезон съемки	Зима		Лето		Переходные
Модель	Precision	Recall	Precision	Recall	Precision	Recall
U-net	0.62	0.68	0.84	0.53	0.59	0.52
Attention U-Net	0.43	0.65	0.51	0.38	0.62	0.48
MobilNetv2 U-Net	0.53	0.58	0.52	0.33	0.59	0.47
Тестовый учаcток	T40VDJ		T39VWH		T40VEM
Модель	Precision	Recall	Precision	Recall	Precision	Recall
U-net	0.70	0.39	0.57	0.63	0.69	0.60
Attention U-Net	0.55	0.29	0.44	0.61	0.67	0.55
MobilNetv2 U-Net	0.42	0.27	0.59	0.50	0.57	0.53

 

Различия тестовых участков по преобладающей породе в древостое (по результатам классификации снимков Sentinel-2) и особенностям лесопользования приведены в табл. 5. На всех трех участках доминируют смешанные леса, однако на участке T40VDJ это леса с преобладанием лиственных, а на двух других участках ‒ с преобладанием хвойных пород. При этом темнохвойные и сосновые леса на участке T40VDJ занимают менее 10% территории, тогда как на двух других участках – более 20%. Еще более значительные различия характерны для площади рубок, особенно сплошных. Средняя площадь сплошной рубки на участке T40VDJ почти в три раза меньше, чем на двух других участках. Наибольшая доля сплошных рубок от общей площади нарушений лесного покрова характерна для участка T40VEM. Как отмечено в работе (Канев и др., 2023), точность распознавания нарушений лесного покрова растет по мере увеличения их площади, а также в зависимости от их типа (максимальная характерна для сплошных рубок, а минимальная – для лесных дорог). Поэтому в данном случае различия точности распознавания для разных тестовых участков объясняются в первую очередь площадью нарушений и их распределением по типам.

 

Таблица 5. Характеристика лесных насаждений и особенностей лесопользования на участках, для которых выполнена оценка точности распознавания

Тестовый участок	Характеристики насаждений		Характеристики проверочного набора (число и средняя площадь объектов)
	Доля лесопокрытой площади, ٪	Преобладающие типы леса (доля от общей площади сцены, ٪)	Сплошные рубки	Иные типы рубок (выборочные, проходные, дороги)	Ветровалы
T39VWH	95.9	смешанные с преобладанием хвойных (٣٠.6); смешанные с преобладанием лиственных (17.0); темнохвойные (14.1); сосновые (١٠.4)	179/10.3	378/9.4	88/2.4
T40VEM	92.6	смешанные с преобладанием хвойных (٣٢.6); темнохвойные (23.2); смешанные с преобладанием лиственных (14.9); лиственные (14.0)	385/11.7	304/7.8	691/1.6
T40VDJ	70.9	смешанные с преобладанием лиственных (٢٩.7); смешанные с преобладанием хвойных (15.7); лиственные (12.1); лесовосстановление на полях и вырубках (12.0)	352/3.3	198/6.4	1/13.1

 

Зависимость точности распознавания от преобладающей породы в древостое оценивалась только по парам снимков летнего сезона. Однозначной зависимости выявить не удалось. Так, если на участках T39VWH и T40VEM наибольшая точность достигается в темнохвойных лесах и наименьшая – в мелколиственных (что соответствует характеру изменения спектральной яркости на вырубках в лесах с разными преобладающими породами в древостое), то на участке T40VDJ максимальное значение точности распознавания отмечено в лиственных лесах (табл. 6). Такое расхождение может быть обусловлено меньшей площадью рубок на данном участке в сравнении с двумя другими. Также не выявлена статистически значимой зависимости точности распознавания нарушений лесного покрова по зимним снимкам от освещенности склонов.

 

Таблица 6. Зависимости точности распознавания нарушений лесного покрова от преобладающей породы в древостое (выделены максимальные значения F-меры для каждой сцены)

Сцена	Тип леса	Precision	Recall	F-мера
T39VWH	Темнохвойные	0.97	0.26	0.40
	Сосновые	0.72	0.73	0.72
	Смешанные с преобладанием хвойных	0.90	0.26	0.40
	Смешанные с преобладанием лиственных	0.85	0.26	0.40
	Лиственные и участки лесовосстановления	0.74	0.12	0.21
T40VEM	Темнохвойные	0.97	0.54	0.70
	Сосновые	0.69	0.70	0.69
	Смешанные с преобладанием хвойных	0.96	0.52	0.67
	Смешанные с преобладанием лиственных	0.97	0.34	0.50
	Лиственные и участки лесовосстановления	0.99	0.28	0.43
T40VDJ	Темнохвойные	0.57	0.17	0.26
	Сосновые	0.65	0.19	0.30
	Смешанные с преобладанием хвойных	0.45	0.16	0.23
	Смешанные с преобладанием лиственных	0.59	0.41	0.48
	Лиственные и участки лесовосстановления	0.94	0.34	0.50

 

Оценка точности распознавания гарей была выполнена для двух моделей: Attention U-Net и MobilNetv2 U-Net (рис. 4). В среднем точность оказалась значительно ниже, чем для вырубок и ветровалов, причем модель Attention U-Net показала значительно более высокую точность (среднее значение F-меры 0.48 против 0.37 по модели MobilNetv2 U-Net). В большинстве случаев метрика Precision превышает Recall, т.е. модели занижают площади гарей. Более выражено это для модели MobilNetv2 U-Net (среднее значение Precision составляет 0.67, а Recall – 0.33).

 

Рис. 4. Сегментация лесных гарей по снимкам Sentinel-2 с помощью моделей машинного обучения Attention U-Net и MobilNetv2 U-Net.

 

ЗАКЛЮЧЕНИЕ

Развитие моделей машинного обучения, и в частности сверточных нейронных сетей для анализа изображений, происходит быстрыми темпами. Они широко применяются для сегментации нарушений лесного покрова по спутниковым снимкам, однако в каждой работе данные имеют свою специфику, связанную с типом нарушений и их площадью, процентом изъятия древостоя, характеристиками насаждений, рельефа местности и других факторов. В настоящей работе были обучены пять различных моделей (различные модификации архитектуры СНС U-net). Три из них, которые показали наилучшие результаты при обучении, были проверены на независимых наборах данных (парных снимках Sentinel-2, полученных в разные сезоны 2021-2023 гг.), на которых были предварительно размечены границы свежих вырубок, гарей и ветровалов.

В результате установлено, что модификации архитектуры U-net, которые показали наилучшие результаты при обучении (Attention U-Net и MobilNetv2 U-Net) не обеспечили повышение точности распознавания на независимых данных. Наиболее высокая точность (среднее значение F-меры 0.59) получена по базовой модели U-net. Стоит отметить, что такие значения точности существенно ниже, чем в ранее опубликованных зарубежных работах (Al-Dabbagh et al., 2022; Lee et al., 2022), но сопоставимы с результатами, опубликованными ранее для Украины и России (Isaienkov et al., 2021; Тарасов и др., 2021). Такое расхождение обусловлено особенностями самих нарушений лесного покрова: в первой группе работ рассмотрены в основном крупные сплошные нарушения (гари), а во второй значительную часть проверочного набора данных составляли выборочные и проходные рубки, которые отличаются относительно слабым изменением спектральных характеристик и объективной сложностью автоматической сегментации.

Основным фактором, определяющим точность распознавания нарушений лесного покрова, являются характеристики самих нарушений – площадь и тип, что было показано еще в работе (Канев и др., 2023). Точность распознавания растет по мере увеличения доли сплошных рубок. Существенные различия также выявлены между снимками разных сезонов, причем максимальна точность распознавания по зимним парам снимков. По летним парам снимков и снимкам разных сезонов площадь нарушений существенно недооценивается, что обусловлено сложностью сегментации проходных и выборочных рубок. Преобладающая порода в древостое оказывает менее существенное влияние на точность. На двух из трех тестовых участков максимальная точность отмечена в темнохвойных лесах, а минимальная – в лиственных, что соответствует характеру изменения спектральных характеристик на вырубках. Статистически значимое влияние освещенности склонов на точность распознавания по зимним парам снимков не выявлено.

Точность распознавания гарей, которая оценивалась на примере 14 крупных лесных пожаров 2021-2022 гг., оказалась неудовлетворительной, что требует доработки обучающей выборки и использованных моделей машинного обучения, и будет предметом дальнейших исследований.

ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследование выполнено при поддержке Российского научного фонда и Пермского края (проект № 22-27-20018).

Об авторах

Н. С. Подопригорова

Московский государственный технический университет имени Н.Э. Баумана

Email: and3131@inbox.ru
Россия, Москва

А. В. Тарасов

Пермский государственный национальный исследовательский университет

Email: and3131@inbox.ru
Россия, Пермь

А. Н. Шихов

Пермский государственный национальный исследовательский университет

Автор, ответственный за переписку.
Email: and3131@inbox.ru
Россия, Пермь

А. И. Канев

Московский государственный технический университет имени Н.Э. Баумана

Email: and3131@inbox.ru
Россия, Москва

Список литературы

Дополнительные файлы