Detection of small spruce bark beetle outbreaks using neural network analysis of Siberian fir trees images

Cover Page

Cite item

Full Text

Abstract

The main tasks of remote forest pathology monitoring of coniferous forests infested with insect pests are considered. The importance of using multiclass classification results of coniferous trees in high-resolution images obtained during aerial forest monitoring using spacecraft or unmanned aerial vehicles for rapid problem-solving is demonstrated. A method for the rapid detection of small spruce bark beetle outbreaks is proposed. This method involves multiclass classification of infested trees in images using the Res-Mo-U-Net neural network model, identification of tree age based on the assessment of their crown area using segmentation masks obtained through multiclass classification, and decision-making on the presence of small spruce bark beetle outbreaks in the studied fir forest area based on calculations of actual tree mortality. To test the proposed method, a neural network analysis of an image of a fir forest area infested by the small spruce bark beetle in the Tomsk region was carried out. The results of the testing indicate the potential of the method for practical application.

Full Text

Распространение уссурийского полиграфа Polygraphus proximus в пихтовых лесах России приобрело характер экологической катастрофы [1, 2]. Действительно, многочисленные очаги его массового размножения различной интенсивности обнаружены начиная с 2007 г. во многих регионах России [3–5]. Другим примером агрессии лесного вредителя стал обнаруженный в 2019 г. в кедровниках нескольких регионов Сибири союзный короед Ips amitinus [6–8]. В связи с этим, ученые и специалисты считают, что в первую очередь необходимо организовать оперативный лесопатологический мониторинг хвойных лесов [5, 7, 9, 10]. Исходя из высокой динамичности популяций стволовых вредителей назрела необходимость решения таких основных задач лесопатологического мониторинга, как оперативное выявление очагов размножения вредителей в хвойных лесах на ранних стадиях и отслеживание степени поражения вредителем деревьев в таких очагах [11–13]. Еще одной важной практической задачей мониторинга хвойных лесов считают выявление среди них сухостойных деревьев [14].

Существующие методы мониторинга хвойных лесов, основанные преимущественно на наземных обследованиях, имеют серьезные ограничения. Прежде всего это значительные временны́е и трудовые затраты, обусловливающие выявление очагов размножения вредителей только на поздних стадиях поражения деревьев, когда значительная часть древостоя уже не подлежит восстановлению [15, 16]. Некоторые исследователи показали, что решать проблему оперативного мониторинга лесов можно с помощью высокоточной аэрофотосъемки деревьев космическими аппаратами или беспилотными летательными аппаратами (БПЛА) и оперативного проводения дешифрирования полученных изображений [7, 10, 15, 17–22].

Анализ (интерпретация) полученных при лесопатологическом мониторинге изображений проводится в целях решения каждой из перечисленных выше задач полуручным способом или автоматически с помощью специальных методов и алгоритмов. При более перспективной автоматической классификации изображений решается задача мультиклассификации, когда по ряду признаков на изображении крон деревьев каждое дерево относят к одному из нескольких классов. Например, в случае поражения деревьев пихты уссурийским полиграфом следует распознать пять классов: четыре класса состояния здоровья деревьев (разной степени поражения вредителем) и фон (деревья других пород и иные объекты земной поверхности). Можно видеть, что при решении поставленных выше задач, используются результаты мультиклассификации изображений деревьев.

В сложившейся ситуации актуальность приобрели разработка и внедрение современных автоматизированных систем раннего обнаружения очагов вредителей, основанных на передовых методах и технологиях дистанционного зондирования Земли и на современных нейросетевых методах анализа результатов такого зондирования [23–25]. Эти методы, системы и технологии позволяют оперативно выявлять очаги размножения вредителей в хвойных лесах, что существенно повышает эффективность комплекса лесозащитных мероприятий.

Цель работы

Цель работы — представление методики оперативного выявления очагов размножения уссурийского полиграфа в пихтовых лесах на основе нейросетевого анализа изображений высокого разрешения, полученных при лесопатологическом мониторинге хвойных лесов дистанционными методами.

Объект и методы исследования

Объектом изучения послужил процесс оперативного обнаружения очагов размножения уссурийского полиграфа в пихтовых лесах по данным дистанционного лесопатологического мониторинга. Известно, что главная задача оперативного лесопатологического мониторинга лесов заключается в обнаружении очага насекомых-вредителей в начальной фазе его развития [26, 27]. Это позволит провести соответствующие санитарно-оздоровительные мероприятия с минимальными потерями деревьев.

Рассмотрим основные подходы, применяемые в настоящее время. Сегодня принятие решения специалистами лесного хозяйства о наличии очага стволовых вредителей в хвойных лесах основывается на результатах наземного мониторинга древостоя и осуществляется в соответствии с интерпретацией этих результатов по известным отраслевым правилам, изложенным в методических рекомендациях [28]. Согласно этим правилам, действующим очагом стволовых вредителей считается участок хвойного леса площадью 10 000 м2 (1 га), в котором количество заселенных (первый вариант) или свежеотработанных (второй вариант) вредителями хвойных деревьев (суммарный отпад деревьев в каждом из этих вариантов) превышает норму естественного отпада, причем эти деревья относятся к основному пологу древостоя (I–III классов Крафта). Правила учитывают деление хвойных деревьев по возрасту на три категории: молодые деревья (первая категория), средневозрастные деревья (вторая категория) и приспевающие, спелые и перестойные деревья (третья категория). В соответствии с этими правилами участок леса в возрасте молодняка относится к очагу, если в нем заселено вредителем не менее 5…7 % всех деревьев породы на 1 га, в средневозрастных участках — не менее 3…5 % деревьев, участок леса третьей категории относится к очагу, если заселено не менее 2…3 % всех деревьев породы данного возраста.

Иными словами, для каждого возраста деревьев есть свой порог отпада, превышение которого позволяет принять решение о наличии очага размножения стволового вредителя, поэтому правил для принятия решения три. Первое из них гласит, что в случае молодых деревьев принимается решение о наличии очага, если число пораженных деревьев, отнесенное к общему числу деревьев молодого возраста этой породы, превышает порог отпада 5 % (взяли для определенности меньшее значение из интервала 5…7 %). Аналогичное правило принятия решения формулируется для средневозрастных деревьев (вторая категория по возрасту), для которых очаг имеет место, если превышен порог отпада 3 % (взяли для определенности меньшее значение из интервала 3…5 %). Наконец, правило принятия решения для деревьев третьей категории возраста следующее: очаг существует, если превышен порог отпада 2 % (взяли для определенности меньшее значение из интервала 2…3 %). Отметим, эти правила действуют как в случае заселенных, так и свежеотработанных вредителями хвойных деревьев. Это означает, что при мониторинге участка площадью 1 га можно по первому правилу выявлять заселенные вредителем хвойные деревья, рассчитывать фактический процент отпада их для каждой категории по возрасту и, сравнивая его с порогом для соответствующей возрастной категории, принимать решение о наличии очага либо эти процедуры можно выполнять по второму правилу, когда при мониторинге участка выявляются свежеотработанные вредителями хвойные деревья.

При проведении оперативного мониторинга поврежденных уссурийским полиграфом деревьев пихты в Институте мониторинга климатических и экологических систем СО РАН (ИМКЭС СО РАН) разработана оценочная шкала их жизненного состояния (степени поражения вредителем) [4]. На основе этой шкалы при интерпретации изображений пораженных деревьев пихты выделяются четыре класса состояния здоровья (степени поражения вредителем) этих деревьев: «Здоровое», «Отмирающее», «Свежий сухостой» и «Старый сухостой». Пятый класс на изображениях — фон.

Учитывая это и опираясь на изложенные выше правила, нами разработана методика оперативного выявления очагов уссурийского полиграфа в пихтовых лесах путем нейросетевого анализа изображений пораженных им деревьев пихты. Она отличается от известных методик и алгоритмов обнаружения таких очагов отсутствием необходимости наземного мониторинга состояния здоровья деревьев пихты. Все процессы в рамках этой методики реализуются в три последовательно выполняемых ключевых этапа.

Первый из них — этап мультиклассификации пораженных полиграфом деревьев пихты на изображении высокого разрешения участка пихтового леса площадью 10 000 м2 (1 га). Этап должен выполняться автоматически с помощью наиболее эффективной по точности классификации модели сверточной нейронной сети (СНС) [29]. Для оценки эффективности (качества) используемой для мультиклассификации модели СНС, иными словами, для оценки точности классификации деревьев на изображениях с помощью таких моделей, используется метрика Intersection over Union (IoU). Метрика IoUс для каждого класса с деревьев может быть вычислена по формуле [30, 31]

IoUc=TPcTPc+FPc+FNc, (1)

где TPc, FPc и FNc — количество, соответственно, истинно-положительных, ложно-положительных и ложно-отрицательных решений для деревьев класса c.

Наряду с формулой (1) для вычисления метрики mean Intersection over Union (mIoU) применяется также формула

mIoU=1C∑c=1CIoUc. (2)

Эта метрика рассчитывается как среднее значение метрики IoUс по всем С-классам.

Значения метрик IoUс и mIoU, превышающие 0,5, соответствуют высокой точности классификации деревьев на изображениях и указывают на то, что модели СНС, обеспечивающие такую точность классификации, можно применять в лесной отрасли.

В работе [32] показано, что перспективными среди моделей СНС для попиксельной классификации деревьев на изображениях являются модели полносверточных нейронных сетей. Исследованиями, изложенными в работе [33], выявлено, что в отличие от классической модели полносверточной сети U-Net [34] для всех классов состояния пораженных хвойных деревьев пихты сибирской и сосны сибирской кедровой предложенные полносверточные модели Mo-U-Net и Res-Mo-U-Net показывают точность классификации по метрикам IoUс и mIoU выше порогового значения 0,5. Гибридная модель Res-Mo-U-Net основана на модели Мо-U-Net, однако имеет некоторые изменения архитектуры, в том числе вместо части сверточных слоев в энкодер и декодер включены остаточные блоки [35]. Это повысило, как показали исследования [32, 33], точность классификации пораженных хвойных деревьев с помощью модели Res-Mo-U-Net, поэтому ее можно рекомендовать к применению на этапе мультиклассификации в предлагаемой методике.

На втором этапе сначала происходит вычисление по полученной при мультиклассификации изображения маске сегментации площади кроны каждого дерева пихты. Для точного расчета площади кроны при частичном перекрытии крон недостающая часть контура кроны перекрытого дерева пихты достраивается с помощью сплайн-интерполяции. Затем выполняется отнесение каждого дерева в зависимости от площади его кроны к одной из трех возрастных категорий: молодые деревья, средневозрастные и приспевающие/спелые/перестойные деревья. Для учета категории их возраста используются предварительно установленные для каждого региона (биотопа) интервалы площади кроны пихты по категориям, с которыми сравнивается площадь кроны каждого дерева.

На третьем этапе методики по результатам выполнения первого и второго этапов принимается решение о наличии очага уссурийского полиграфа на исследуемом участке пихтового леса. Оно формируется в соответствии с рассмотренными выше порогами отпада для каждой возрастной категории деревьев пихты и правилами обнаружения очагов стволовых вредителей в хвойных лесах [28]. Отметим, что в случае деревьев пихты заселенными по этим правилам являются деревья класса «Отмирающее», а свежеотработанными — деревья класса «Свежий сухостой». Это означает, что в соответствии с предлагаемой методикой можно проводить анализ и принимать решение о наличии очага как в случае заселенных уссурийским полиграфом деревьев класса «Отмирающее», так и в случае свежеотработанных им деревьев класса «Свежий сухостой». Иными словами, можно использовать результаты любого из двух вариантов вычислений, проводимых на втором и третьем этапах методики.

Приведем разработанный алгоритм, реализующий второй и третий этапы методики.

Начало

Шаг 1. Выбор исследуемого участка пихты площадью 1 га (10 000 м2) на панораме и ввод его координат.

Шаг 2. Ввод результатов мультиклассификации деревьев пихты исследуемого участка, полученных с помощью модели СНС на панораме (маска сегментации, класс с каждого дерева, М — общее число деревьев пихты на участке); ввод N — значения относительного естественного отпада деревьев пихты, %.

Шаг 3. Ввод интервальных значений площади крон пихты (в пикселях): S0 — нижняя граница площади крон молодых деревьев (деревьев первой категории по возрасту), S1 — верхняя граница площади крон молодых деревьев, S2 — верхняя граница площади крон средневозрастных деревьев (деревьев второй категории по возрасту); если деревья пихты приспевающие, спелые или перестойные (деревья третьей категории по возрасту), то площадь их крон должна быть более S2.

Шаг 4. Цикл по i-му дереву пихты исследуемого участка, i = 1,2, …, M; i = 1.

Шаг 4.1. Вычисление в пикселях площади Si кроны i-го дерева на маске сегментации; процедура вычисления площади позволяет при перекрытии на изображении части кроны дерева вышележащей кроной древесного полога провести сплайн-интерполяцию недостающей части контура кроны этого дерева и в итоге более точно вычислить площадь перекрытой части кроны

Шаг 4.2. Если Si больше или равно S0, но меньше или равно S1, то это дерево первой категории и далее переход на Шаг 5, иначе на Шаг 4.3.

Шаг 4.3. Если Si больше S1, но меньше или равно S2, то это дерево второй категории и переход на Шаг 6, иначе на шаг 4.4.

Шаг 4.4. Если Si больше S2, то это дерево третьей категории и переход на Шаг 7, иначе на Шаг 8.

Шаг 5. Формирование списка с номером 1 деревьев первой категории по возрасту и подсчет количества деревьев L1 в списке. Переход на Шаг 8.

Шаг 6. Формирование списка с номером 2 деревьев второй категории по возрасту и подсчет количества деревьев L2 в списке. Переход на Шаг 8.

Шаг 7. Формирование списка с номером 3 деревьев третьей категории по возрасту и подсчет количества деревьев L3 в списке. Переход на Шаг 8.

Шаг 8. i = i + 1, если i ≤ M, то далее на Шаг 4.1, иначе на Шаг 9.

Шаг 9. Цикл по текущему номеру j сформированного списка деревьев соответствующей категории возраста, j = 1, 2, 3; j = 1 (номер списка деревьев первой категории).

Шаг 9.1. Начало реализации первого варианта — подсчет в j-м списке количества Кj2 деревьев второго класса состояния здоровья (класс «Отмирающие»); переход на Шаг 9.2.

Шаг 9.2. Начало реализации второго варианта — подсчет в j-м списке количества Кj3 деревьев третьего класса состояния здоровья (класс «Свежий сухостой»); переход на Шаг 9.3.

Шаг 9.3. Если [(Кj2 / Lj) ∙ 100 – N] % больше или равно 5 %, то принятие решения о наличии очага вредителей деревьев первой категории и выдача сообщения «Очаг вредителей молодых деревьев по первому варианту»; переход на Шаг 9.4.

Шаг 9.4. Если [(Кj3 / Lj) ∙ 100 – N] % больше или равно 5 %, то принятие решения о наличии очага вредителей деревьев первой категории и выдача сообщения «Очаг вредителей молодых деревьев по второму варианту»; переход на Шаг 9.5.

Шаг 9.5. j = j + 1, если j ≤ 3, то переход на Шаг 9.6, иначе на Конец.

Шаг 9.6. Начало реализации первого варианта — подсчет в j-м списке количества Кj2 деревьев второго класса состояния здоровья (класс «Отмирающие»); переход на Шаг 9.7.

Шаг 9.7. Начало реализации второго варианта — подсчет в j-м списке количества Кj3 деревьев третьего класса состояния здоровья (класс «Свежий сухостой»); переход на Шаг 9.8.

Шаг 9.8. Если [(Кj2 / Lj) ∙ 100 – N] % больше или равно 3 %, то принятие решения о наличии очага вредителей деревьев второй категории и выдача сообщения «Очаг вредителей средневозрастных деревьев по первому варианту»; переход на Шаг 9.9.

Шаг 9.9. Если [(Кj3 / Lj) ∙ 100 – N] % больше или равно 3 %, то принятие решения о наличии очага вредителей деревьев второй категории и выдача сообщения «Очаг вредителей средневозрастных деревьев по второму варианту»; переход на Шаг 9.10.

Шаг 9.10. j = j + 1, если j ≤ 3, то переход на Шаг 9.11, иначе на Конец.

Шаг 9.11. Начало реализации первого варианта — подсчет в j-м списке количества Кj2 деревьев второго класса состояния здоровья (класс «Отмирающие»); переход на Шаг 9.12.

Шаг 9.12. Начало реализации второго варианта — подсчет в j-м списке количества Кj3 деревьев третьего класса состояния здоровья (класс «Свежий сухостой»); переход на Шаг 9.13.

Шаг 9.13. Если [(Кj2 / Lj) ∙ 100 – N] % больше или равно 2 %, то принятие решения о наличии очага вредителей деревьев третьей категории и выдача сообщения «Очаг вредителей приспевающих, спелых и перестойных деревьев по первому варианту»; переход на Шаг 9.14.

Шаг 9.14. Если [(Кj3 / Lj) ∙ 100 – N] % больше или равно 2 %, то принятие решения о наличии очага вредителей деревьев третьей категории и выдача сообщения «Очаг вредителей приспевающих, спелых и перестойных деревьев по второму варианту»; переход на Конец.

Конец

На выходе алгоритма появляются сообщения — выводы о наличии очага вредителей на исследуемом участке для каждой возрастной категории деревьев. Для повышения достоверности результатов в алгоритме реализованы два варианта вычислений: для класса деревьев «Отмирающее» и класса «Свежий сухостой».

Используемая для мультиклассификации пораженных деревьев пихты на изображениях модель Res-Mo-U-Net и разработанный алгоритм программно-реализованы на языке Python 3 в среде фреймворка PyTorch.

Результаты и обсуждение

Для апробации предложенной методики обнаружения очага размножения уссурийского полиграфа был выбран участок пихтового леса площадью 1 га, на котором имеются деревья пихты, пораженные этим стволовым вредителем. Этот экспериментальный участок входит в состав ранее обследованного лесопатологами большого участка пихтового древостоя, расположенного в Бакчарском районе Томской области (Бакчарское лесничество). Местоположение большого участка: Парбигское участковое лесничество, окрестности поселка Парбиг, квартал 72, выдел 23 (57°16′35,2″ с. ш. 81°30′18,7″ в. д.). Основные характеристики деревьев пихты на этом участке, обследованном в августе 2017 г. и детально описанном в работе [15], таковы: состав древостоя 9П1Б+К, средний диаметр ствола (20,9 ± 0,8) см, средняя высота деревьев (20,1 ± 1,2) м, средний возраст (71,8 ± 4,0) лет, полнота 1,0. Как следует из работ [15, 17, 20], в 2016–2017 гг. Бакчарский район Томской области можно было охарактеризовать как действующий фронт инвазии уссурийского полиграфа, поэтому на участке древостоя, включая интересующий нас участок пихтового леса площадью 1 га, наблюдалась активная стадия освоения насаждений пихты этим вредителем. Это показали результаты наземного обследования описанного выше участка, которое проводилось в августе 2017 г. группой специалистов-лесопатологов ИМКЭС СО РАН, в том числе И.А. Керчевым, являющимся одним из ведущих специалистов России по этому вредителю. В группу также входили специалисты Центра защиты леса Томской области. Ключевой задачей группы было выявление распространения этого инвазионного вредителя и оценка повреждения им насаждений. При наземном обследовании этого участка леса было установлено, что встречаемость дальневосточного короеда на деревьях пихты довольно высока и составила 87,4 %, в том числе 43,2 % деревьев отработано уссурийским полиграфом единолично, еще 29,5 % совместно с черным пихтовым усачом, а остальные 14,7 % — в комплексе с разными видами усачей и рогохвостами. Еще 10,5 % пихт отработаны без участия уссурийского полиграфа, преимущественно черным пихтовым усачом, а на 2,1 % не было обнаружено признаков деятельности стволовых насекомых. Все это позволило специалистам охарактеризовать данный участок как очаг именно уссурийского полиграфа [15, 17].

Кроме наземного обследования данный участок был дополнительно отснят с помощью фотокамеры, установленной на БПЛА DJI Phantom 3 Standart. Съемка проводилась в видимом диапазоне электромагнитного спектра (RGB) с высоты 365 и 388 м в период с 7 по 28 августа 2017 г. Были получены RGB-изображения высокого разрешения (0,1 м). Визуально на изображениях данный участок пихтового древостоя можно считать очагом стволового вредителя — уссурийского полиграфа, так как в отличие от очага филофага на этих изображениях видны красные кроны (признак сохранения хвои после гибели дерева пихты) [20]. Участки гибели пихтарников и кедрачей в год объедания сибирским шелкопрядом, приводящим к гибели насаждений, на изображениях выглядят серыми из-за голых стволов и ветвей в результате полной дефолиации. Эти результаты дистанционного обследования позволяют наряду с результатами наземного обследования характеризовать данный участок как очаг размножения именно уссурийского полиграфа.

Перед проведением этапа мультиклассификации изображения экспериментального участка площадью 1 га (рисунок, а) оно было разрезано на фрагменты размером 256×256×3 пикселей, которые затем должны подаваться для анализа на вход выбранной модели СНС.

Этап собственно мультиклассификации (первый этап) описанной выше разработанной методики выполнялся с помощью предварительно обученной модели СНС Res-Mo-U-Net. Она была обучена на выборке, включающей в себя 2004 фрагмента и соответствующие им маски сегментации размером 256×256×3 пикселей, и валидирована на выборке из 672 фрагментов и их масок такого же размера. Исходные RGB-изображения для подготовки этих выборок были получены той же группой обследования при съемке в период с 7 по 28 августа 2017 г. описанного выше участка пораженных уссурийским полиграфом деревьев пихты в Бакчарском районе Томской области в работе [32]. Там же показано, что результаты валидации модели Res-Mo-U-Net по точности классификации высоки, что позволяет использовать эту обученную модель при апробации методики. В результате мультиклассификации изображения экспериментального участка с помощью модели Res-Mo-U-Net получена маска сегментации (рисунок, б). Отметим, что это изображение экспериментального участка для чистоты исследований не использовалось при получении обучающей и валидационной выборок.

 

Результаты аэрофотосъемки и мультиклассификации изображения изучаемого участка: а — исходное изображение участка; б — маска сегментации изображения, полученная с помощью модели Res-Mo-U-Net

UAV image and multiclass classification of the study area: a — study area; б — segmentation mask obtained using the Res-Mo-U-Net model

 

На втором этапе из 209 обнаруженных с помощью модели на маске сегментации и классифицированных по степени поражения уссурийским полиграфом деревьев пихты анализировались кроны 207 деревьев, т. е. М = 207 при выполнении разработанного алгоритма, поскольку два дерева не относятся к основному пологу. Затем была рассчитана площадь кроны каждого дерева пихты. Для Томской области ранее выявлены следующие интервалы площади крон пихты: молодые деревья (56, 1310) пикселей, средневозрастные (1311, 3914) пикселей и приспевающие/спелые/перестойные более 3914 пикселей. При этом для этого региона естественный отпад N = 1 %. Это позволило в соответствии с приведенным выше алгоритмом отнести каждое дерево к той или иной категории по возрасту.

На третьем этапе в соответствии с разработанным алгоритмом сделаны расчеты по отпаду деревьев каждой категории возраста и применены соответствующие решающие правила.

В таблице даны итоговые результаты апробации предложенной методики. Приведено количество деревьев пихты на участке 1 га по классам состояния здоровья. Из данных таблицы следует, что получено превышение естественного отпада (N = 1 %) по всем трем возрастным категориям и в случае каждого варианта расчетов. Так, при учете деревьев только класса «Отмирающее» (первый вариант расчета) фактический отпад составил 8,8 % (молодые деревья, при пороге 5 %), 4,9 % (средневозрастные деревья, порог 3 %) и 2,3 % (приспевающие, спелые и перестойные деревья, порог 2 %). Каждый из этих результатов подтвердил наличие очага. Результаты вычислений по второму варианту, т. е. в случае деревьев класса «Свежий сухостой», для всех категорий деревьев по возрасту значительно превышают соответствующие значения фактического отпада, вычисленные по первому варианту расчетов. Это только подтверждает правильность выводов о наличии очага, сделанных по результатам расчетов в случае деревьев класса «Отмирающее». В работах [15, 20] изложены результаты наземного мониторинга деревьев пихты этого же участка, выполненные также в 2017 г., из которых следует, что на участке имеется очаг размножения уссурийского полиграфа. По сути, эти результаты независимых специалистов из ИМКЭС СО РАН и Центра защиты леса Томской области подтвердили сделанные нами выводы о наличии очага.

 

Результаты выявления очага уссурийского полиграфа на экспериментальном участке пихтового леса

Results of the small spruce bark beetle outbreak detection in the study area of fir forest

Показатель

Категория деревьев пихты по возрасту

Всего деревьев

Первая

Вторая

Третья

 Количество деревьев пихты по классам состояния здоровья:

 живое

 отмирающее

 свежий сухостой

 старый сухостой

18

60

14

92

4

8

1

13

11

23

5

39

8

45

10

63

Всего деревьев по категориям

41

136

30

–

Отпад деревьев класса «Отмирающее»

(Кj2 / Lj) ∙ 100 – N, %

8,8

4,9

2,3

–

Отпад деревьев класса «Свежий сухостой»

(Кj3 / Lj) ∙ 100 – N, %

25,8

15,9

15,7

–

 

При апробации методики не были использованы данные наземного мониторинга пихтовых лесов. Однако мы опирались на результаты предыдущих исследований в виде интервалов площадей крон деревьев пихты, характерных для той или иной возрастной категории деревьев этой породы в Томской области.

Выводы

Разработана методика оперативного выявления очагов размножения уссурийского полиграфа путем нейросетевого анализа изображений пораженных деревьев пихты. Особенностью методики является обязательное выполнение мультиклассификации с помощью современной модели нейронной сети Res-Mo-U-Net пораженных деревьев на изображениях. По результатам оценки площади крон деревьев на полученных при мультиклассификации масках сегментации изображений выявляется их возраст и после расчетов фактического отпада деревьев с учетом их возраста принимается решение о наличии очага размножения уссурийского полиграфа на исследуемом участке пихтового леса.

В целях апробации предложенной методики выполнен нейросетевой анализ изображения пораженного уссурийским полиграфом участка пихтового леса площадью 1 га в Бакчарском районе Томской области. Сделаны выводы о наличии очага размножения этого вредителя. Выводы подтверждены результатами наземного мониторинга деревьев пихты этого же участка, выполненного также в 2017 г. другими экспертами. Результаты апробации указывают на перспективность методики для практического применения.

Благодарности

Авторы выражают благодарность канд. биол. наук, зав. лабораторией ИМКЭС СО РАН И.А. Керчеву за предоставленные изображения пораженных уссурийским полиграфом деревьев пихты.

×

About the authors

Nikolay G. Markov

National Research Tomsk Polytechnic University

Email: markovng@tpu.ru

Dr. Sci. (Tech.), Professor of the Department of Information Technologies

Russian Federation, 30, Lenina av., 634050, Tomsk

Mendosa Cristian R. Machuca

National Research Tomsk Polytechnic University

Author for correspondence.
Email: kristianrodrigo1@tpu.ru

pg.

Russian Federation, 30, Lenina av., 634050, Tomsk

References

  1. Krivets S.A., Bisirova E.M., Kerchev I.A., Pats E.N., Chernova N.A. Transformatsiya taezhnykh ekosistem v ochage invazii poligrafa ussuriyskogo Polygraphus proximus Blandf. (Coleoptera: Curculionidae, Scolytinae) v Zapadnoy Sibiri [Transformation of taiga ecosystems in western Siberia in invasion focus of foureyed fir bark beetle Polygraphus proximus Blandford (coleoptera: curculionidae, scolytinae)]. Rossiyskiy Zhurnal Biologicheskikh Invaziy [Russian J. of Biological Invasions], 2015, pp. 41–63.
  2. Debkov N.M. Prirodnyy potentsial vozobnovleniya v pikhtovykh lesakh, povrezhdennykh v khode invazii ussuriyskogo poligrafa [The natural potential of regeneration in fir forests, damaged during the invasion of Polygraphus proximus]. Lesotekhnicheskiy zhurnal [Forestry Journal], 2017, v. 7, no. 1. pp. 58–68.
  3. Gosudarstvennyy doklad «O sostoyanii i ob okhrane okruzhayushchey sredy 2023» [State report «On the state and protection of the environment 2023»]. Available at: https://ecostr.ru/novosti/gosdoklad-o-sostoyanii-i-ob-ohrane-okruzhayushhej-sredy-2023/ (accessed 28.03.2025).
  4. Bystrov S.O., Antonov I. A. First record of the four-eyed fir bark beetle Polygraphus proximus Blandford, 1894 (Coleoptera, Curculionidae: Scolytinae) from Irkutsk province, Russia. Entomological Review, 2019, v. 99, pp. 54–55.
  5. Dedyukhin S.V., Titova V.V. Finding of the bark beetle polygraphus proximus Blandford, 1894 (Coleoptera, Curculionidae: Scolytinae) in Udmurtia. Russian Journal of Biological Invasions, 2021, v. 12, pp. 258–263.
  6. Kerchev I.A., Mandelshtam M.Y., Krivets S.A., Ilinsky Y.Y. Small spruce bark beetle Ips amitinus (Eichhoff, 1872) (Coleoptera, Curculionidae: Scolytinae): a new alien species in West Siberia. Entomological review, 2019, v. 99, pp. 639–644.
  7. Kerchev I.A., Krivets S.A., Bisirova E.M., Smirnov N.A. Distribution of the small spruce bark beetle Ips amitinus (Eichhoff, 1872) in Western Siberia. Russian J. of Biological Invasions, 2022, v. 13, pp. 58–63.
  8. Smirnov N.A, Kerchev I.A. Experimental rearing of the small spruce bark beetle Ips amitinus (Eichhoff, 1872) (Coleoptera: Curculionidae, Scolytinae) on aboriginal Siberian coniferous species. Acta Biologica Sibirica, 2024, v. 10, pp. 1699–1710. doi: 10.5281/zenodo.14468138
  9. Chang W.Y., Lantz V.A., Hennigar C R., MacLean D.A. Economic impacts of forest pests: a case study of spruce budworm outbreaks and control in New Brunswick, Canada. Canadian J. of Forest Research, 2012, v. 42, pp. 490–505.
  10. Van Lierop P., Lindquist E., Sathyapala S., Franceschini G. Global Forest area disturbance from fire, insect pests, diseases and severe weather events. Forest Ecology and Management, 2015, v. 352, pp. 78–88.
  11. Seidl, R., Schelhaas, M.J., Rammer, W., Verkerk, P.J. Increasing forest disturbances in Europe and their impact on carbon storage. Nature Climate Change, 2014, v. 4, pp. 806–810. doi: 10.1038/nclimate2318
  12. Alekseev N.A., Shcherbakov A.N. Stvolovye vrediteli krupnomernogo posadochnogo materiala khvoynykh porod [Stem pests of large-sized planting material of coniferous trees]. Available аt: https://www.greeninfo.ru/protection_plants/pests_and_diseases.html/Article/_/aID/5095 (accessed 28.03.2025).
  13. Kobzar’ V.F., Kolesova N.I., Petrik A.A. Ussuriyskiy poligraf Polygraphus proximus Blandford, 1894 v pikhtarnikakh ekoparka «Ozera na Snezhnoy» (Irkutskaya oblast’) [Polygraphus proximus Blandford, 1894 in the fir forests of the «Lakes on Snezhnaya» Ecopark (Irkutsk Oblast)]. Fitosanitariya. Karantin rasteniy [Plant Health and Quarantine], 2023, v. 1, pp. 59-71. doi: 10.69536/a4850-3897-3753-x
  14. Senf C., Pflugmacher D., Zhiqiang Y., Sebald J., Knorn J., Neumann M., Hostert P., Seidl R. Canopy mortality has doubled in Europe’s temperate forests over the last three decades. Nature Communications, 2018, v. 9. doi: 10.1038/s41467-018-07539-6
  15. Krivets S.A., Bisirova E.M., Volkova E.S., Debkov N.M., Kerchev I.A., Mel’nik M.A., Nikiforov A.N., Chernova N.A. Tekhnologiya monitoringa pikhtovykh lesov v zone invazii ussuriyskogo poligrafa v Sibiri [Technology for monitoring fir forests in the Ussuri polygraph invasion zone in Siberia]. Tomsk: UMIUM, 2018, 74 p.
  16. Yarmishko V.T., Ignat’eva O.V., Evdokimov A. Nekotorye aspekty monitoringa sosnovykh lesov v ekstremal’nykh usloviyakh Kol’skogo Severa [Some aspects of scots pine forests monitoring in extreme conditions of the kola north]. Samarskiy nauchnyy vestnik [Samara Scientific Bulletin], 2019, v. 8, no 2, pp. 81-86. doi: 10.24411/2309-4370-2019-12115.
  17. Musolin D.L., Kirichenko N.I., Karpun N.N., Aksenenko E.V., Golub V.B., Kerchev I.A., Mandelshtam M.Y., Vasaitis R., Volkovitsh M.G., Zhuravleva E.N., Selikhovkin A.V. Invasive insect pests of forests and urban trees in Russia: Origin, pathways, damage, and management. Forests, 2022, v. 13, no. 4, pp. 521.
  18. Chenari A., Erfanifard Y., Dehghani M., Pourghasemi H.R. Woodland mapping at single-tree levels using object-oriented classification of unmanned aerial vehicle (UAV) images. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, v. XLII-4/W4, pp. 43–49.
  19. Safonova A., Tabik S., Alcaraz-Segura D., Rubtsov A., Maglinets Y., Herrera F. Detection of fir trees (Abies sibirica) damaged by the bark beetle in unmanned aerial vehicle images with deep learning. Remote Sensing, 2019, v. 11, no. 6, pp. 643.
  20. Kerchev I.A., Maslov K.A., Markov N.G., Tokareva O.S. Semanticheskaya segmentatsiya povrezhdennykh derev’ev pikhty na snimkakh s bespilotnykh letatel’nykh apparatov [Semantic segmentation of damaged fir trees in unmanned aerial vehicle images]. Sovremennye problemy distantsionnogo zondirovaniya Zemli iz kosmosa [Modern problems of remote sensing of the Earth from space], 2021, vol. 1, no. 1, pp. 116–126. doi: 10.21046/2070-7401-2021-18-1-116-126.
  21. Zhou H., Yuan X., Zhou H., Shen H., Ma L., Sun L., Fang G., Sun H. Surveillance of pine wilt disease by high resolution satellite. J. of Forestry Research, 2022, v. 33, pp. 1401–1408.
  22. Zhou Y., Liu W., Bi H., Chen R., Zong S., Luo Y. A detection method for individual infected pine trees with pine wilt disease based on deep learning. Forests, 2022, v. 13, no. 11, p. 1880.
  23. Markov N.G., Maslov K.A., Kerchev I.A., Tokareva O.S., Machuka K.R., Osipova V.V. Polnosvertochnye neyronnye seti dlya klassifikatsii povrezhdennykh derev’ev sosny sibirskoy kedrovoy na izobrazheniyakh s BPLA [Fully convolutional networks for classification of damaged pinus sibirica trees in uav imagery]. Regional’nye problemy distantsionnogo zondirovaniya Zemli: Materialy IX Mezhdunar. nauch. konf. [Regional Problems of Remote Sensing of the Earth. Proceedings of the IX International Scientific Conf.], Krasnoyarsk, September 13–16, 2022. Krasnoyarsk: Siberian Federal University, 2022, pp. 61–64.
  24. Machuka K.R. Model’ polnosvertochnoy neyronnoy seti dlya semanticheskoy segmentatsii derev’ev pikhty na izobrazheniyakh s BPLA [A Fully Convolutional Neural Network Model for Semantic Segmentation of Fir Trees in UAV Images]. Molodezh’ i sovremennye informatsionnye tekhnologii: Materialy XXI Mezhdunar. nauch.-prakt. konf. studentov, aspirantov i molodykh uchenykh [Youth and modern information technologies. Proceedings of the XXI International scientific and practical conference of students, postgraduates and young scientists], Tomsk, April 15–18, 2024. Tomsk: Tomsk Polytechnic University, 2024, pp. 60–63.
  25. Machuka K.R., Markov N.G. Modeli neyronnykh setey dlya segmentatsii snimkov derev’ev pikhty, poluchennykh s pomoshch'yu BPLA [Neural networks models for semantic segmentation of siberian fir trees in UAV images]. RRegional’nye problemy distantsionnogo zondirovaniya Zemli: Materialy XI Mezhdunar. nauch. konf. [Regional Problems of Remote Sensing of the Earth. Proceedings of the IX International Scientific Conf.], Krasnoyarsk, September 10–13, 2024. Krasnoyarsk: Siberian Federal University, 2024, pp. 344–347.
  26. Li X., Wang A. Forest pest monitoring and early warning using UAV remote sensing and computer vision techniques. Sci Rep, 2025, v. 15. doi: 10.1038/s41598-024-84464-3
  27. Luo Y., Huang H., Roques A. Early Monitoring of Forest Wood-Boring Pests with Remote Sensing. Annual review of entomology, 2023, v. 68, pp. 277–298. doi: 10.1146/annurev-ento-120220-125410
  28. Maslov A.D. Metodicheskie rekomendatsii po nadzoru, uchetu i prognozu massovykh razmnozheniy stvolovykh vrediteley i sanitarnogo sostoyaniya lesov [Methodological recommendations for monitoring, recording and forecasting mass reproduction of stem pests and the sanitary condition of forests]. Pushkino: VNII lesovodstva i mekhanizatsii lesnogo khozyaystva, 2006, 68 p.
  29. Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge, MA: MIT Press, 2016.
  30. Rahman M.A., Wang Y. Optimizing intersection-over-union in deep neural networks for image segmentation. Advances in Visual Computing, 2016, v. 10072, pp. 234–244. doi: 10.1007/978-3-319-50835-1_22
  31. Bertels J., Eelbode T., Berman M., Vandermeulen D., Maes F., Bisschops R., Blaschko M. Optimizing the dice score and jaccard index for medical image segmentation: theory & practice. Medical Image Computing and Computer Assisted Intervention, 2019, v. 11765. doi: 10.1007/978-3-030-32245-8_11
  32. Markov N.G., Machuka K. Modeli i metody glubokogo obucheniya dlya resheniya zadach distantsionnogo monitoringa lesnykh resursov [Deep learning models and methods for solving the problems of remote monitoring of forest resources]. Izvestiya Tomskogo politekhnicheskogo universiteta. Inzhiniring georesursov [Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering], 2024, v. 335, no. 6, pp. 55–74. doi: 10.18799/24131830/2024/6/4600
  33. Kerchev I.A., Markov N.G., Machuca C.R., Tokareva O.S. Classification of pest-damaged coniferous trees in unmanned aerial vehicles images using convolutional neural network models. Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1271–1294.
  34. Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention, 2015, v. 9351. doi: 10.1007/978-3-319-24574-4_28.
  35. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. Computer Vision and Pattern Recognition, 2016, pp. 770–778.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. UAV image and multiclass classification of the study area: a — study area; б — segmentation mask obtained using the Res-Mo-U-Net model

Download (1MB)
Indexing metadata

Copyright (c) 2026 Markov N.G., Machuca M.R.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 68118 от  21.12.2016.