Machine Learning Methods for Determining Optimal Irrigation Timing for Corn

Full Text

1. ВВЕДЕНИЕ

В мире за последние 50 лет производство сельскохозяйственной продукции выросло почти в три раза, а посевные площади всего на 12%. С учетом того, что 70% от общего забора воды используется для полива растений – рациональный расход этого важнейшего ресурса особенно важен. По оценкам специалистов на 16% мировой посевной площади без орошения выращивание сельскохозяйственных культур невозможно¹. Часто планирование орошения по традиционным методикам не эффективно, поэтому в последнее время появилось много методов контролируемого орошения. К ним можно отнести капельный, дождевальный и бороздковый полив и т.д., что позволяет снизить потери воды на 30–70% [1]. Дальнейшая оптимизация привела к появлению прецизионного орошения, при котором предполагается поддержание оптимального содержание воды в почве в зависимости от ряда факторов, в том числе и от сельскохозяйственной культуры, произрастающей на этой территории [2; 3].

В работах Monteleone и Baptista [4; 5] авторы рассмотрели сельскохозяйственную территорию, как биологическую систему с пространственно-временной неоднородностью растений, климата, характеристик почвы и, соответственно, с разной потребностью в поливе.

Baptista и др. в работе [6] отметил особую роль в орошаемом земледелии оросительной техники. Среди различных систем авторы выделили Center Pivot Irrigation Systems, в мире на долю этой спринклерной системы приходится 23% общей площади, а в России – 22% всей орошаемой площади.

1.1. Системы точного земледелия

Улучшению технических параметров ирригационных систем Center Pivot (CPI) посвящено множество работ [7–9]. Учет неоднородностей почв, рельефа местности и т.д. осуществляется орошением с переменной скоростью (VRI), либо поливом с контролируемой зоной полива, регулированием давления в трубах [10–12]. Исследования в области пространственно-временных неоднородностей почв в мире интенсивно ведутся [10–13]. Serrano и др. [10] рассмотрели возможность автоматического управления скоростью движения ирригационной на основании технологии контроля электропроводности почвы, индексов растительности и т.д. Svedin и др. [11] автоматическое управление скоростью агрегатов системы полива производили на основании модели динамики воды в почве. Shi и др. [12] разработали систему поддержки принятия решений (СППР) для орошения с переменной нормой. В ее основу авторы положили индекс растительности (VI), получаемый из мультиспектральной камеры, установленной на беспилотные. O’Shaughnessy и др. [13] обобщили вышеперечисленные методы орошения с переменной нормой.

Не смотря на большое количество работ, посвященных этой теме, мы считаем, что выполненных исследований недостаточно и необходимо продолжить работу в направлении исследования пространственно-временной изменчивости почвы и сельскохозяйственных растений, не ней произрастающих.

1.2. Искусственный интеллект и цифровизация

На современном этапе развития сельскохозяйственных технологий и точного земледелия широко используются методы искусственного интеллекта, интернета вещей (IoT) и т.д. В работе García и др. [14] приведен обзор наиболее перспективных примеров внедрения сенсорных систем орошения. Keswani и др. [15] оптимизировали орошение за счет регулирования открытия водного клапаноа, который был управлялся нейронной сетью. Wang и др. [16] интегрировали систему орошения с СППР. Работа Kamienski и др. [17] посвящена описанию платформы SWAMP, которая интеллектуальными методами управляет водными ресурсами на основе Интернета вещей. Мониторингу данных, предварительной обработке, интеграции в существующие системы орошения, посвящено ряд других работ по интеллектуальному земледелию [18–21].

В работах, посвященных точному земледелию все чаще стали использоваться нейросети. Они могут использоваться как отдельные элементы в структуре сельскохозяйственных систем, так и быть составными частями систем поддержки принятия решений [22; 23]. Методы искусственного интеллекта используются для организации оптимального хранения, транспортировки сельскохозяйственной продукции [24; 25]. В работе Benos и др. [26] приведен обзор методов машинного обучения в управлении водными ресурсами и почвой. В работе Cravero и Sepúlveda [27] авторы использовали технологии Больших данных и машинного обучения (МО) для хранения и обработки огромных массивов данных, получаемых в ходе сельскохозяйственных работ. Klompenburg и др. [28] использовали машинное обучение при прогнозировании урожайности, сельскохозяйственных культур. Gonzalez-de-Santos и др. [29] провели исследование о возможности использования промышленных и полевых роботов на сельскохозяйственных работах.

На данном этапе развития сельское хозяйство уже ни в коем случае нельзя назвать областью народного хозяйства, постоянно догоняющей промышленность по использованию современных технологий.

1.3. Орошаемое земледелие и искусственный интеллект

Методы искусственного интеллекта обрабатывают большие массивы данных, эффективно анализируют и прогнозируют состояния сельскохозяйственных систем. Это чрезвычайно важно и для управления системами орошения. Необходимость в автоматической калибровке систем связана с постоянно меняющимися погодными условиями, состоянием почв, концентрацией воды и питательных элементов.

Некоторые системы орошения [30] базируются на алгоритме, отслеживающем полученные данные с различных датчиков и учитывающем погодные условия (температура воздуха, осадки, влажность и т.д.). В ряде работ [15; 31] в качестве управляемого объекта авторы использовали регулируемый водяной клапан, который управлялся нейронной сетью, обученной на показаниях датчиков, определяющих концентрацию влаги в почве. Mendes и др. [32] регулировали движение оросительной системы на основании созданных на с помощью дистанционного зондирования предписывающих карт. Sun и др. [33] использовали технологии дистанционного зондирования, технологии обработки больших данных и методы машинного обучения для получения нового алгоритма управления оросительной системой. В своих работах Chang и Kamyshova [34; 35] совместили алгоритмы машинного обучения с сельскохозяйственной машиной для автоматического орошения и прополки сельскохозяйственных культур.

В ряде работ [36–38] авторами были представлены СППР для управления ирригационными системами. В них были использованы такие методы машинного обучения как Random Forest (RF), Support Vector Regression (SVR), AdaBoost, k-nearest neighbors (KNN), artificial neural networks (NN) и. т.д. Модели машинного обучения используются для расчета параметров орошения: влажность почвы [39], засоление почвы [40], солнечное излучение [41], концентрация воды и растворимых веществ [42]. Машинное обучение используется для разработки стратегий управления ирригацией с для снижения потребления воды и энергии без потери урожайности сельскохозяйственных культур [43–45].

Наиболее перспективными для наших исследований мы выделили несколько работ:

• Вэй Ян и др. [46] разработали модель Convolutional neural network (CNN), основанную на гиперспектральных и RGB-изображениях, полученных на различных стадиях роста кукурузы.
• Ян Панг и др. [47] на основе изображений дронов с использованием Сombined convolutional neural network MaxArea Mask Scoring (RCNN). В работе были выявлены участки плохой всхожести кукурузы.
• Лихэн Чжун и др. [48] с помощью сочетания временных рядов с CNN регистрировали стадии роста растений.
• Соловьев и др. [49; 50] использовали методы высокоскоростного компьютерного зрения YOLO в комплекте с роботом-сборщиком урожая.

2. МАТЕРИАЛЫ И МЕТОДЫ

2.1. Дизайн эксперимента

2.1.1. Общая ситуация по исследуемой территории

Исследование проводилось в Саратовской области Российской Федерации. Россия располагает значительными почвенными и водными ресурсами, однако большая часть земель, используемых для сельскохозяйственного производства, находится в зонах рискованного земледелия с недостаточными или избыточными режимами естественного увлажнения. Лишь 2% земель в РФ находятся в оптимальном влажностном режиме. Основная доля сельскохозяйственной продукции (в стоимостном выражении) производится в засушливой зоне, где сосредоточено более 78% пахотных земель. Мелиоративный фонд Российской Федерации составил площадь 9,45 млн га, из которых использовано 75%, в том числе 4,67 млн га орошаемых земель, из которых использовано 82% и 4,78 млн га осушенных земель, из них 68% фактически используется [44].

Поволжье – один из крупнейших регионов России, где развита мелиорация земель. Саратовская область занимает около 10% общей площади Приволжского федерального округа. Приволжский федеральный округ занимает третье место среди федеральных округов по объему мелиорированных земель и лидер по доле орошаемых земель в хорошем состоянии. Среди всех регионов Саратовская область занимает первое место в округе по площади мелиорированных земель – 19%. Основные климатические параметры орошаемой зоны Саратовской области представлены в табл. 1.

 

Таблица 1. Основные параметры климата территорий орошаемого земледелия Саратовской области [Main climate parameters of irrigated agriculture areas in the Saratov region]

Параметр [Parameter]	Значения [Value]
Зимние температуры, °С [Winter temperatures, °С]	–10 – –15
Летние температуры, °С [Summer temperatures, °С]	21,6–22,6
Сумма эффективных температур, °С [Sum of effective temperatures, °С]	2400–3100
Безморозный период, дни [Frost-free period, dais]	130–170
Период активной вегетации сельскохозяйственных культур, дни [Period of active vegetation of agricultural crops, dais]	165–180
Глубина промерзания почвы, см [Depth of soil freezing, cm]	100–145
Среднегодовое количество осадков, мм [Average annual precipitation, mm]	310–500
Весенние запасы влаги в метровом слое почвы, м3/га [Spring moisture reserves in a meter-thick soil layer, m3/ha]	600–1700

 

Суммы дефицитов влажности воздуха в теплое время года увеличиваются с севера на юг от 1800 до 2200 миллибар. Напротив, суммы активных температур уменьшаются в том же направлении от 3500 до 3000 °С. Зональные почвы левобережных районов (основная зона орошения) Саратовской области относятся к черноземам южным, каштановым различных подтипов (темно-каштановым, светло-каштановым и собственно каштановым), а также бурым полупустынным. на крайнем юго-востоке левобережья. По содержанию органического вещества почвы Левобережья довольно бедны: оно колеблется в пределах 3,0–5,0% в черноземах южных, 2,5–4,0% в темно-каштановых почвах; 1,5–3,0% для светло-каштановых и каштановых.

В природно-климатической зоне Саратовской области наблюдается значительная пространственная изменчивость природных условий, прежде всего почвенных, геоморфологических, гидрогеологических. Анализ данных геоинформационной системы мониторинга орошаемых земель показал, что в пределах участка одного хозяйства они могут располагаться на 133 контурах 29 почвенных перепадов. При этом отдельные орошаемые поля располагались на нескольких почвенных перепадах – от 2 до 5.

2.1.2. Дизайн эксперимента

Для сбора данных были проведены экспериментальные исследования в Энгельском районе Саратовской области России (опытное хозяйство «Поволги» Саратовского государственного аграрного университета). Орошаемая территория оборудована системой центрального орошения (ЦПИ) «Каскад». Он оснащен GPS-трекерами, камерами, а данные в режиме реального времени отображаются на цифровой платформе управления АПК «Агросигнал» (рис. 1). Кроме того, система «Агросигнал» позволяет собирать данные о погоде, состоянии почвы и основную агротехническую информацию о посевах, работе техники на основе датчиков метеостанций, дистанционного зондирования и т.д. (рис. 2).

 

Рис. 1. a – Гиперспектральное кубическое изображение участка поля; b – спектр растительного покрова кукурузы (OCS)

Fig. 1. a – Hyperspectral cube image of a field plot; b – corn canopy spectrum (OCS)

 

Рис. 2. Особенности формирования датасета гиперсспектральных изображений на орошаемом поле

Fig. 2. Features of the formation of a dataset of hyperspectral images in an irrigated field

 

Непосредственно на оросительной системе были установлены 8 IP-камер, подключенных к 8-канальному видеорегистратору, постоянно снимающему растения и гиперспектральная камера, работающая в диапазоне длин волн 400–1000 нм, 270 полос. Одна из 8 IP-камер синхронизировалась с гиперспектральной камерой для одновременного получения данных с одного и того-же участка поля.

Сорт кукурузы «Ладожский 292АМВ»; срок посева – 4 мая (время цветения с 30 июня); густота посадки – около 65 тыс. растений/га.

2.2. Получение данных

2.2.1. Изображения с видеорегистраторов

На оросительной системе установлено 8 IP-камер, подключенных к 8-канальному видеорегистратору, постоянно снимающему растения. Для захвата большего количества участков поля видеокамеры располагались вдоль ирригационной системы по следующему правилу: первая камера была установлена в удаленной точке ирригационной системы, положение остальных камер определялось по формуле:

$r_i=K\sqrt{\frac{2i-1}{2}}$,

где i – порядковый номер камеры, начиная от оси вращения оросительной системы;

r_i – расстояние до нее.

Коэффициент K получается путем подстановки в эту формулу количества задействованных камер и расстояния от оси вращения до самой удаленной точки оросительной системы. В нашем случае при радиусе оросительной системы, равном 370 м, коэффициент равен 95,5 м.

Были использованы видеокамеры с фиксированным фокусным расстоянием 3,6 мм, размером матрицы 1/2,8, что позволяло делать снимки с углом обзора до 96°. Класс защиты камеры – ip67. Класс защиты был принципиально важен, поскольку клетки постоянно подвергались воздействию потоков воды. Большой угол обзора видеокамеры позволяет отслеживать один и тот же участок поля под разными углами при его перемещении. Это позволяет собрать гораздо больше информации по каждому исследуемому участку, а значит, точнее определить его состояние и среднюю фазу развития растений на этом участке.

Учитывая высоту камер над землей (в нашем случае 2,5 м), мы пришли к оптимальному раздвижному окну размером 2 × 2 м. Изображение, не входящее в эти рамки в следствие высоких аберраций, не рассматривалось при обработке.

Теперь о скорости съемки. Используемые IP-камеры работают на частоте 30 Fpx. Нет смысла обрабатывать все эти кадры. Это сделало бы нашу систему компьютерного зрения чрезвычайно медленной. Количество обрабатываемых кадров в секунду зависит от скорости движения оросительной установки и определяется из следующих соображений: каждый участок, попадающий в скользящее окно, должно быть обработан не менее 2 раз. При линейной скорости 0,5 м/с в самой дальней от оси ствола точке, от крайней видеокамеры, 1 изображение должно обрабатываться 2 с. Если вы снимаете изображения со всех 8 камер (чем ближе камера к оси вращения, тем меньше кадров нужно делать в секунду), вам необходимо обрабатывать не более 2,5 кадров в секунду. При данных условиях система компьютерного зрения работает в режиме реального времени.

2.2.2. Гиперспектральные изображения

Для получения гиперспектральных данных была использована гиперспектральная камера ATH1030 400–1000 нм 270 полос, угол обзора – 22° (фокусное расстояние 35 мм) Частота кадров 80 кадров в секунду. Гиперскектральная камера устанавливается на оросительной системе, на высоте 1 м над пологом. За одну обработку измеряли LCC и гиперспектральную отражательную способность шести растений, и их усредняли как одну выборку данных.

Перед использованием гиперспектральной камеры, она была откалибрована с использованием стандартной доски. Съемка производилась при безоблачной погоде, когда интенсивность солнечного света была стабильной и ветер отсутствовал.

Гиперспектральные кубические изображения, полученные гиперспектральной камерой ATH1030, включают гиперспектральные кубические изображения, которые в дальнейшем обрабатывается программой анализа мультиспектральных изображений «MultiSpec», разработанной в университете Перду David Landgrebe и Larry Biehl (рис. 1a). На рис.1b представлен спектр растительного покрова кукурузы.

Предварительно была рассчитана площадка, на которую в среднем помещались шесть растений. С каждой из таких площадок собирался усредненный гиперспект и изображение IP-камеры.

Особенностью формирования датасета гиперсспектральных изображений орошаемого поля является то, что данные собираются по периметру окружности радиусом, устанавливаемым в зависимости от положения гиперспектральной камеры на ирригационной системе рис. 2. В качестве поверхности поля была использована карта отклонения реального развития растений кукурузы от нормы. Карта сформирована по данным с предыдущих стадий развития кукурузы (кукуруза сформировала до 7 листьев). Мы использовали данные представленные нами в рукописи [51]. Красными областями указаны площади поля, на которых кукуруза отстает в развитии от среднего состояние (C1, C2), а зеленые наоборот – с опережением развития (C1, C2). Чем больше цифра в обозначении С, тем выраженнее отставание или опережение.

2.2.3. Агрономические параметры

Сбор агрономических показателей проводился синхронно со съемкой гиперспектральной камеры. На каждом участке выбраны три репрезентативные растения, измерялись их высота над землей. За высоту полога популяции кукурузы на участке принималось средняя высота этих растений.

На каждой выбранной площади рассчитывался индекс площади листа (LAI) [52]. Он рассчитывается с использованием уравнения (1) следующим образом:

$LAI=0,75\frac{\left({\displaystyle \sum _{j=1}^n}ab\right)}{S}$,  (1)

где a и b – представляет длину и ширину листьев кукурузы соответственно;

n – количество листьев;

S – занимаемую площадь растения кукурузы, отобранного для отбора проб;

0,75 – коэффициент преобразования.

В нашем исследовании использовался индикатор воды Сanopy fuel moisture content (FMCc), который рассчитывался следующим образом:

$FMCc=\frac{FW-DW}{FW}LAI·100\%$.  (2)

где LAI – площадь листа, см²;

FW – сырая масса растений;

DW – сухой вес, получаемый после сушки свежих листьев при 80 °C до достижения постоянного веса.

2.3. Предварительная обработка данных

2.3.1. Гиперспектральные изображения

Обработка гиперспектральных изображений осуществлялась с помощью алгоритмов на языке программирования Python. Использовалась версия Py-thon 3.9.13 и библиотека PyTorch 1.13.1. Экспериментальная платформа была оснащена процессором Intel Core i7-9700K, графическим процессором GeForce RTX 2070 и 64 ГБ оперативной памяти.

Предварительная обработка заключалась в нахождении первой и второй производной по длине волны от спектра растительного покрова кукурузы (рис. 3)

 

Рис. 3. Вторая (a) и первая (b) производная по длине волны соответственно от спектра растительного покрова кукурузы спектр растительного покрова кукурузы (c)

Fig. 3. The second (a) and first (b) derivatives with respect to wavelength, respectively, of the corn vegetation spectrum the corn vegetation spectrum (c)

 

В дальнейшем по этим графикам находилось вейвлет преобразование. На рис. 4 представлены изображения, полученные с помощью комплексного вейвлета Гаусса cgau1.

 

Рис. 4. Вейвлет преобразование по графикам зависимостей второй (a) и первой (b) производной по длине волны соответственно от спектра растительного покрова кукурузы спектра растительного покрова кукурузы (c)

Fig. 4. Wavelet transform of the graphs of dependencies of the second (a) and first (b) derivatives with respect to wavelength, respectively, from the spectrum of the corn vegetation cover of the spectrum of the corn vegetation cover (c)

 

3. МЕТОДЫ И МОДЕЛИ

3.1. Методы классификации

3.1.1. Нейронная сеть Multilayer Perceptron

Для классификации фазы роста растений кукурузы по вегетативным индексам мы использовали нейронную сеть Multilayer Perceptron (MLP), обученную методом Resilient Propagation. Этот метод имеет некоторые преимущества перед другими методами, решающими аналогичные задачи; главным образом, его легко реализовать и он имеет высокую скорость сходимости с низкими требованиями к ошибкам вычисления градиента. Алгоритм использует так называемое «обучение по эпохам», когда коррекция весов происходит после предъявления сети всех данных из обучающей выборки.

Особенности полученных данных сводятся к тому, что часть вегетативных индексов имеют высокую степень корреляции, что существенно сказывается на результат классификации. Для преодоления этой проблемы мы используем количество нейронов в входном слое нейросети, соответствующее количеству кластеров, полученных на этапе кластеризации вегетативных индексов. Каждый кластер в нейросети отвечает за один входной нейрон. При формировании обучающей выборки данные, подаваемые на нейрон, случайно отбираются из списка вегетативных индексов, относящихся к конкретному кластеру.

3.1.2. CNN

Для классификации изображений использовались сверточные нейронные сети трех архитектур: Classical, DenseNet121 [54] и DenseNet121 + SE [55]. Две последние архитектуры работали с изображением 224 × 224. Для первой архитектуры изображение предварительно сжималось до 64 × 64.

Архитеутура Classical содержит два сверточных слоя с ядром 5 × 5, за каждым из которых следует слой пуллинга с ядром 2 × 2 и шагом 2. Используется функция активации ReLU. После операции выравнивания классификация осуществляется с использованием функции Softmax. Обучение производится в течение 7 эпох со скоростью обучения 0,001.

Третья архитектура в отличие от второй улучшена дополнительным блоком SE (Squeeze-and-Excitation block) архитектура DenseNet121 представлена на рис. 5.

 

Рис. 5. Архитектура CNN DenseNet121+ SE

Fig. 5. Architecture of CNN DenseNet121+ SE

 

Основной особенностью этой архитектуры ИНС является концепция «плотных блоков», которая подразумевает набор сверточных слоев размером 1 × 1 с шагом свертки 2, где входом каждого последующего слоя является конкатенация карт признаков, сформированных предыдущими. слои. Эта концепция «плотных блоков» решает проблему затухания градиентов [53].

Первый слой свертки имеет ядро 7 × 7, затем идет слой подвыборки по максимальному значению (maxpooling) с ядром 3 × 3. Далее идут три связки «плотный блок – сверточный слой – слой подвыборки», а на четвертом снопе после четвертого плотного блока используется слой подвыборки, который выполняет операцию глобального среднего выбора, то есть усредняет значения многомерной карты объектов в вектор 1 × 1. Полносвязный слой состоит из 128 нейронов с пятью выходными нейронами, функция активации сверточного и подвыборочного слоев – ReLU, функция активации полносвязного слоя – Softmax (возвращает вероятность принадлежности изображения заданному классу).

Предлагается использовать модифицированный модуль для сверточных архитектур ИНС, называемый блоком сжатия и возбуждения (SE), который позволяет повысить обобщающую способность ИНС. Предложенный механизм позволяет амплифицировать карту признаков (выходные данные сверточного слоя), тем самым ИНС генерирует глобальную карту признаков, чтобы более эффективно отсекать неинформативные признаки и получать более широкий набор информативных признаков). Входными данными для модифицированного механизма является вектор признаков сверточного слоя, а сам механизм состоит из двух полносвязных слоев. Функция активации первого полносвязного слоя – ReLu, функция активации второго полносвязного слоя – сигмовидная. Здесь первый полносвязный слой выполняет функцию уменьшения размерности вектора признаков, а второй слой выполняет функцию повторной калибровки размерности до исходного размера. Этот блок интегрируется с помощью инструментов Keras и располагается перед полносвязным слоем ИНС, что решает задачу классификации. Структура блока SE, который был интегрирован в последующие архитектуры сверточных ИНС, показана на рис. 6. Параметры модифицированного SE-модуля представлены в табл. 3.

Для классификации 2D-изображений, полученных при вейвлет-преобразовании гиперспектральных данных разработана двумерная модель капсульной сети 2D-CapsNet (рис. 6).

При обучении 2D-CapsNet используются следующие гиперпараметры: Размер пакета – 50; Эпохи – 30; Скорость обучения – 0,0001; Оптимизатор – оптимизатор Адама.

 

Рис. 6. Блочное представление сетевой модели 2D-CapsNet для классификации 2D-изображений при вейвлет-преобразовании гиперспектральных данных

Fig. 6. Block representation of the 2D-CapsNet network model for 2D-image classification using wavelet transform of hyperspectral data

 

Таблица 2. Настройки модифицированного SE-модуля [Settings of the modified SE module]

Название слоев [Layer name]	Фильтр + Размер ядра [Filter + Kernel size]	Выходной размер [Output size]
Conv2D	32 × 3 × 3	7 × 7 × 32
Global Avg pooling	–	32
Dense	–	1 × 2
Dense_1	–	1 × 32
Multiply()	–	3 × 3 × 32
Avg pooling	32 × 3 × 3	7 × 7 × 32
Conv2D	32 × 3 × 3	7 × 7 × 32
Global Avg pooling	–	32
Dense_2	–	1 × 2
Dense_3	–	1 × 32
Multiply()	–	3 × 3 × 32
Avg pooling	32 × 3 × 3	7 × 7 × 32
Global Avg pooling	–	32
Global Max pooling	–	32
Concatenation	–	64

 

3.1.3. CapsNet

Общая структура предлагаемой модели 2D-CapsNet представлена в табл. 4. После первого слоя Conv2D входные изображения 32 × 32 × 3 преобразуются в карты признаков 16 × 16 × 128, за которыми следует сеть улучшения признаков (карта признаков). Он состоит из четырех ветвей, каждая из которых усиливает признаки, характеризующие изменения в гиперспетре растительного покрова (см. рис. 6).

Базовый классификатор CapsNet состоит из трех частей:

• Первичный капсульный слой (Primary Caps), представляющий собой улучшенный слой Conv2D, в котором 128 каналов преобразуются в 16 векторов длиной 8;
• Уровень цифровой капсулы (Digit Caps), который использует алгоритм динамической маршрутизации для преобразования выходных данных Pimarycaps в n 16-D капсульных векторов, где алгоритм повторяется три раза, а n представляет количество типов ошибок;
• В классе слоя капсулы длина каждого капсульного вектора представляет возможность каждого типа неисправности, т.е. норма L2 капсульного вектора определяет окончательный диагностический результат.

3.2. Предлагаемый подход

Авторы статьи предлагают алгоритм выявления состояния растительного покторва кукурузы (рис. 7):

Шаг 1. Обрабатывается гиперспектральное изображение, поступающее от гиперспектральной камеры, по нему находится первая и вторая производная.

Шаг 2. Используя вейвлет-преобразование, полученные графики гиперспектрального изображеия, первой и второй производной от него преобразуется в 2D-изображение RGB определенного размера.

 

Таблица 3. Слои модели 2D-CapsNet и различные параметры слоев [Layers of 2D-CapsNet model and different layer parameters]

Название слоя [Layer Name]	Фильтр × Размер ядра [Filter × Kernel Size]	Dim × Num (капсулы) [Dim × Num (capsules) ]	Другие параметры [Other Params]	Выходной размер [Output Size]
Input Layer	–	–	–	32 × 32 × 3
Conv2D	128 × 3 × 3		strides = 2 act = PReLU	16 × 16 × 128
Fusion feature maps				16 × 16 × 128
Reweighted feature maps				16 × 16 × 128
Primary Caps (Conv2D)	128 × 3 × 3	15 × 15 × 8 × 16	strides = 2	15 × 15 × 128
DigitCaps		16 × n		n × l6
2D-CapsNet				n

 

Рис. 7. Схема предлагаемого подхода к идентификации состояния растительного покторва кукурузы на основе метода 2D-CapsNet

Fig. 7. Scheme of the proposed approach to identifying the state of corn crops based on the 2D-CapsNet method

 

Шаг 3. Эти образцы изображений разделяются на две части в определенной пропорции: обучающий набор и тестовый набор. Можель CapsNet обучается.

Шаг 4. Набор тестов вводится в обученную модель CapsNet для диагностики состояния растительного покрова кукурузы.

Шаг 5. Отображаются результаты диагностики.

4. ЭКСПЕРИМЕНТЫ И РЕЗУЛЬТАТЫ

Выявление стадий развития растений кукурузы на основе фотографий с IP-камеры

Для обучения методов использовался набор данных из 1000 фотографий участков поля, которые занимали в 6–8 растений. Набор данных был помечен учеными-агрономами, специализирующимися на выращивании кукурузы табл. 5. Разметка площадок производилась на стадиях развития роста стебля, т.к. дальнейшая классификация по внешним признакам представляет трудности. В дальнейшем были сделаны изображения этих же площадок спустя 5 дней после разметки. Именно они и были использованы для исследований. Разметка при этом была сохранена.

Соответственно классификация производилась для растений находящихся на стадиях со значениями по шкале BBCH с 39 по 43. Стадия образования метелки соответствует значению по шкале BBCH-51.

 

Таблица 4. Количество образцов, использованных для определения среднего этапа роста кукурузы на площадке по шкале BBCH [55] [Number of samples used to determine the average growth stage of corn on the site according to the BBCH scale [55]]

Номер класса [Class number]	Обозначение класса [Class designation]	Значение по шкале BBCH [Value on the scale BBCH]	Описание стадии (рост стебля) [Stage description (stem growth)]	Количество в датасете [Quantity in dataset]
1	С-2	34	4 – узел виден [4 – the knot is visible]	189
2	С-1	35	5 – узел виден [5 – the knot is visible]	215
3	С0	36	6 – узел виден [6 – the knot is visible]	209
4	С1	37	7 – узел виден [7 – the knot is visible]	204
5	С2	38	8 – узел виден [8 – the knot is visible]	183

 

К данным был применен метод 5-кратной перекрестной проверки. Данные были разделены на две части. Обучающий набор был связан с тестовым набором как 80 и 20% всех данных соответственно.

Для выявления стадий развития растений кукурузы использовались сверточные нейронные сети трех архитектур:: Classical, DenseNet121 и DenseNet121 + SE [54]. Лучшим из классификаторов показал себя классификатор DenseNet121 + SE с Accuracy = 92% (табл. 6)

 

Таблица 5. Accuracy of three different deep learning architectures [Accuracy of three different deep learning architectures]

Архитектуры глубокого обучения [Deep learning architectures]	Классическая [Classical]	Dense Net121	Dense Net121 + SE
Accuracy, %	77	90	92

 

4.1. Спектральная отражательная способность кукурузы на разных стадиях роста и при различном содержании воды в растениях

Гиперсектральные графики кукурузного полога менялся в зависимости от стадии роста и содержания воды. Для спектрального анализа были отобраны гиперспектральные графики растений кукурузы с содержанием воды FMCc, попадающим в диапазон 2,7–3% на разных стадиях роста (BBCH-34, BBCH-36, BBCH-38, BBCH-40 и BBCH-43) (рис. 8b) и стадии роста BBCH-43 с различным содержанием воды (FMCc = 2,32, 2,65, 3,17, 3,94, 4,51) (рис. 8a). Спектральные кривые имеют сходные морфологические характеристики. Положения пиков и впадин были тесно совмещены, что позволяет предположить, что основные спектральные законы сельскохозяйственных культур не изменились, хотя гиперспектральные графики поменяли свои размеры. С ростом кукурузы гиперспектральные графики постепенно увеличивались в ближнем инфракрасном диапазоне. В целом, спектральные различия, вызванные стадиями роста, можно четко наблюдать в ближнем инфракрасном диапазоне. На тех же стадиях роста гиперспектральный график кукурузы с наименьшим содержанием воды был самым высоким в видимом свете и самым низким в ближнем инфракрасном диапазоне.

 

Рис. 8. Гиперспектральные графики растений кукурузы: a – с разными содержаниями воды в расениях на стадии роста BBCH-43; b – на разных стадиях роста с содержанием воды FMCc = 2,7–3%

Fig. 8. Hyperspectral plots of maize plants: a – with different water contents in plants at the BBCH-43 growth stage; b – at different growth stages with water content FMCc = 2.7–3%

 

4.2. Выявление стадий развития растений кукурузы по гиперспектральным изображениям

Изображения с IP-камеры продублированы гиперспектральными изображениями. Классификация, полученная учеными-агрономами по изображениям площадок с кукурузой, была распространена и на гиперспектральные изображения с этих площадок. На рис. 9 показан спектр растительного покрова кукурузы, его первая и вторая производная в зависимости от классов растений.

 

Рис. 9. Вторая (a) и первая (b) производная по длине волны соответственно от спектра растительного покрова кукурузы; спектр растительного покрова кукурузы (c); 1–5 –гиперспектр взят с площадок пяти разных классов. Номер графика соответствует номеру класса

Fig. 9. Second (a) and first (b) derivatives with respect to wavelength, respectively, of the spectrum of the corn vegetation cover; the spectrum of the corn vegetation cover (c); 1–5 – the hyperspectrum is taken from sites of five different classes. The graph number corresponds to the class number

 

4.2.1. Классификация стадий развития растений кукурузы по 2D-моделям

Вейвлет-преобразование по графикам зависимостей спектра растительного покрова кукурузы. Получено с площадок пяти разных классов. Номер изображения соответствует номеру класса (рис. 10). Визуально можно наблюдать тенденции к изменению изображения в зависимости от класса.

 

Рис. 10. Вейвлет-преобразование по графикам зависимостей спектра растительного покрова кукурузы для пяти классов

Fig. 10. Wavelet transform of the dependence graphs of the spectrum of corn vegetation cover for five classes

 

Получаемые 2D модели использовались для обучения нейронной сети 2D-CapsNet (см. рис. 7). Для выявления стадий развития растений кукурузы использовались 2D-модели, полученные из спектра растительного покрова кукурузы и из его первой и второй производной этого спектра. Лучший результат получен при использовании 2D-модели от первой производной по спектру растительного покрова кукурузы (табл. 7).

Достаточно низкие значения Accuracy, полученные при классификации стадий развития растений кукурузы по спектру растительного покрова заставили нас продолжить исследования в этой области. Мы использовали t-SNE для визуализации данных на уровне капсулы модели 2D-CapsNet (рис. 11).

 

Таблица 6. Accuracy для нейронной сети 2D-CapsNet, обученной на 2D-моделях спектра растительного покрова кукурузы и из его первой и второй производной [Accuracy for the 2D-CapsNet neural network trained on 2D-models of the corn vegetation spectrum and its first and second derivatives]

Нейронная сеть 2D-CapsNet [Neural network 2D-CapsNet]	Спектр растительного покрова кукурузы [Corn vegetation spectrum]	Первая производная от спектра [First derivative of the spectrum]	Вторая производная от спектра [Second derivative of the spectrum]
Accuracy, %	83	84	81

 

Рис. 11. Использование метода t-SNE для визуализации данных на уровне капсулы 2D-CapsNet: 1–5 – пять классов, размеченных учеными-агрономами по стадиям шкалы BBCH

Fig. 11. Using t-SNE to visualize 2D-CapsNet capsule-level data: 1–5 are the five classes labeled by agricultural scientists according to the BBCH stages

 

4.3. Сопоставление результатов работы классификаторов, работающих по видимым изображениям и по гиперспектральным графикам

Из рис. 11 видно, что классы, полученные на видимых изображениях, не полностью характеризуют состояние площадок кукурузы. Особенно это видно в первом классе, который распределился почти равномерно внутри второго и третьего классов. Эти результаты связаны с изменением количества воды в растениях кукурузы на этой стадии роста по сравнению с остальными стадиями. Значительное увеличение в потреблении воды на данной стадии требует незамедлительного орошения.

Новая разметка датасета была произведена ко количеству воды в растениях кукурузы. Переобученная капсульная сеть достигла Accuracy = 95%. На уровне капсулы 2D-CapsNet классы с разным количеством воды в растениях были визуализированы методом t-SNE (рис. 12).

4.4. Динамические карты предписаний по ирригации

На основе результатов, полученных с помощью метода DenseNet 121 + SE, определены средние стадии развития растений кукурузы с исследуемых площадок поля. Полученные результаты сравниваются с плановыми показателями. На рис. 13а представлены карты отклонения от плановых показателей по критерию BBCH-41. На рис. 13а. Желтая область – в норме (BBCH-41), красная – отставание развития, зеленые – опережение.

 

Рис. 12. Использование метода t-SNE для визуализации данных на уровне капсулы 2D-CapsNet

1–5 – пять классов, размеченных по количеству воды в растениях кукурузы по значениям FMCc: 1 – 2,26–2,75%; 2 – 2,76–3,25%; 3 – 3,26–3,75%; 4 – 3,76–4,25%; 5 – 4,26–4,75%

Fig. 12. Using t-SNE method to visualize 2D-CapsNet capsule-level data

1–5 – five classes labeled by the amount of water in corn plants based on FMCc values: 1 – 2,26–2,75%; 2 – 2,76–3,25%; 3 – 3,26–3,75%; 4 – 3,76–4,25%; 5 – 4,26–4,75%

 

Рис. 13. Алгоритм создания карты орошения: а – карта развития; b – карта количества воды в растениях кукурузы; c – текущий NDWI; d – карта водообеспеченности почвы; е – карта разбития на сектора для полива

Fig. 13. Algorithm for creating an irrigation map: a – development map; b – map of the amount of water in corn plants; c – current NDWI; d – map of soil water availability; e – map of division into sectors for irrigation

 

Наша модель также учитывает среднее количество воды в растениях кукурузы (рис. 13b). Значение индикаторов: 1) 2,26–2,75%; 2) 2,76–3,25%; 3) 3,26–3,75%; 4) 3,76–4,25%; 5) 4,26–4,75%.

Учитывается также NDWI (рис. 13c). Его текущее значения мы получаем раз в 10 дней. Нейронная сеть позволяет оценить этот показатель на каждый день. Все параметры, подаваемые в нейронную сеть, представлены в числовых значениях:

• цвет NDWI зависит от количества воды в почве: 0 – белый (недостаток), 1 – синий (избыток);
• облачность определяется дискретными значениями от ее отсутствия – 0, до полной неясности солнечных облаков – 3;
• влажность воздуха – относительная влажность от 0 до 100%;
• температура измеряется в градусах Цельсия;
• скорость ветра измеряется в метрах в секунду.

Последний этап получения карты объединяет все отобранные предыдущие данные. Используемая при этом нейронная сеть обучена на данных, полученных в экспериментальном хозяйстве «Поволги». Саратовского ГАУ в 2022 г. и ранее отмечено учеными-агрономами.

Результатом работы сети является карта поля, разделенная на участки, с указанием количества воды, необходимого для орошения 1 м² данного участка поля.

Распределение процентов общей площади под воздействием предписания в каждом плане полива с динамическим предписанием на 6 поливных действий показано на рис. 14.

 

Рис. 14. Распределение процентов общей площади под влиянием динамического предписания

Fig. 14. Distribution of percentages of total area under the influence of dynamic prescription

 

Проведен сравнительный анализ водопотребления при реализации стандартной стратегии орошения и переменной стратегии орошения на основе динамических карт предписаний. Введем обозначения: Pⁱ – нормативная норма орошения, соответствующая i-му оросительному действию; S – площадь оросительного участка; S_j – часть площади оросительного участка под действием предписания j.

$S=\sum _{j=1}^5{S}_j.$ (3)

Затем объем орошения при стандартном поливе, соответствующий i-му оросительному действию.

$I{A}_{st}^i=S{P}_i.$ (4)

Объем ирригации с динамическим назначением, соответствующий i-му оросительному действию.

$I{A}_D^i=\sum _{j=0}^5{S}_j\left(k_j^i{P}^i\right),$ (5)

где k_jⁱ – поправочный коэффициент орошения для S_j, соответствующий i-му оросительному воздействию;

k_jⁱ = {0,8; 0,9; 1; 1,1; 1,2}.

Сокращение количества расходуемой воды при применении нашей стратегии орошения вместо стандартной рассчитывалось формулам (3)–(5).

Экспериментальные исследования по растению кукурузе при стандартном и динамическом поливе показали увеличение этого показателя в сумме по всем поливам. 7,4%. При этом эффективность использования воды, увязывающая урожайность кукурузы на единицу использованной воды, повышается за счет увеличения урожайности на 8,4%.

5. ДИСКУССИЯ

Введение в эксплуатацию орошаемых полей позволяет значительно увеличить посевные площади и обеспечить население дополнительной сельскохозяйственной продукцией. Но, нужно понимать, что такие поля необходимы, прежде всего, в засушливых зонах страны, там, где пресной воды часто не хватает и на другие нужды. И в этих условиях важно определить, сколько и на каких участках поля воды нужно, когда ее следует использовать.

Кукуруза – одна из главных сельскохозяйственных культур. Общее количество потребляемой влаги составляет 3000–6000 м³/га и это потребление неравномерно. Особенно интенсивно оно происходит в период за 10 дней до образования метелки. Именно этот период мы и планировали определить. С учетом того, что в этот период количество листьев уже не меняется и растение только увеличивает свою растительную массу, точно определить этот временной интервал визуальными методами очень сложно. Но можно по дисбалансу количества воды в растении и объему его зеленой массы установить потребность растения в поливе. Для этого нам пришлось совместить визуальные методы классификации растений по фотографиям с IP-камеры и гисперспектральные методы анализа.

Задача, которую мы решали, заключалась в том, чтобы создать динамические карты для оросительной системы, по которым, регулируя скорость вращения, можно было оптимальным образом подобрать сектора, требующие дополнительного полива и сектора, которые можно полить меньше.

Мы использовали:

1) метод, который по изображениям, полученным с IP камеры, определял стадию роста по шкале BBCH;

2) метод, который определял количество воды в растениях (мы использовали гиперспектральные изображения, преобразованные в 2D-модели и проклассифицированные с помощью 2D-CapsNet);

3) метод, на основании нейросети–многослойный персептрон, который объединял результаты, полученные на предыдущих этапах и ряд других важных характеристик данного поля и погодных условий.

На основании полученных данных формировались динамические карты предписаний полива.

Наша модель успешно прошла полевые испытания в 2022 г. Зарегистрировано увеличение урожайности кукурузы на 8,4% по сравнению с участком, использующим обычное орошение.

¹ Miletto M., Connor R. The United Nations World Water Development Report 2020. Water and Climate Change, 2020. URL: https://unesdoc.unesco.org/ark:/48223/pf0000372985.locale=en

About the authors

Sergey T. Gataullin

MIREA – Russian Technological University

Author for correspondence.
Email: gataullin@mirea.ru
ORCID iD: 0000-0002-0446-0552
Scopus Author ID: 57205436562
ResearcherId: AAX- 8389-2021

Cand. Sci. (Econ.); leading researcher, Institute of Advanced Technologies and Industrial Programming

Russian Federation, Moscow

Alexey V. Osipov

MIREA – Russian Technological University

Email: osipov_av@mirea.ru
ORCID iD: 0000-0002-1261-8559
Scopus Author ID: 57224632462
ResearcherId: AAB-5151-2022

Cand. Sci. (Phys.-Math.); associate professor, Institute of Advanced Technologies and Industrial Programming;

Russian Federation, Moscow

Ekaterina S. Pleshakova

MIREA – Russian Technological University

Email: pleshakova@mirea.ru
ORCID iD: 0000-0002-8806-1478
SPIN-code: 5152-8969
Scopus Author ID: 56471764200
ResearcherId: ABG-2302-2021

Cand. Sci. (Eng.); associate professor, Institute of Advanced Technologies and Industrial Programming

Russian Federation, Moscow

Alexander V. Yudin

MIREA – Russian Technological University

Email: yudin_a@mirea.ru
ORCID iD: 0000-0002-6802-8603
Scopus Author ID: 56018042000
ResearcherId: A-1665-2014

Dr. Sci. (Econ.); Head of the Department, Institute of Advanced Technologies and Industrial Programming

Russian Federation, Moscow

References

Supplementary files