Prediction of the chrome distribution in subarctic Noyabrsk using co-kriging, generalized regression neural network, multilayer perceptron, and hybrid technics

A. G. Buevich; Буевич А. Г.; I. E. Subbotina; Субботина И. Е.; A. V. Shichkin; Шичкин А. В.; A. P. Sergeev; Сергеев А. П.; E. M. Baglaeva; Баглаева Е. М.

doi:10.31857/S0869-78092019277-86

Prediction of the chrome distribution in subarctic Noyabrsk using co-kriging, generalized regression neural network, multilayer perceptron, and hybrid technics

Authors: Buevich A.G.¹, Subbotina I.E.¹, Shichkin A.V.¹, Sergeev A.P.¹, Baglaeva E.M.¹
Affiliations:
1. Institute of Industrial Ecology, Ural Branch, Russian Academy of Sciences
Issue: No 2 (2019)
Pages: 77-86
Section: Research methods and techniques
URL: https://journals.eco-vector.com/0869-7809/article/view/12721
DOI: https://doi.org/10.31857/S0869-78092019277-86
ID: 12721

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

Combination of geostatistical interpolation (kriging) and machine learning (artificial neural networks, ANN) methods leads to an increase in the accuracy of forecasting. The paper considers the application of residual kriging of an artificial neural network to predicting the spatial contamination of the surface soil layer with chromium (Cr). We reviewed and compared two neural networks: the generalized regression neural network (GRNN) and multilayer perceptron (MLP), as well as the combined method: multilayer perceptron residual kriging (MLPRK). The study is based on the results of the screening of the surface soil layer in the subarctic Noyabrsk, Russia. The models are developed based on computer modeling with minimization of the RMSE. The MLPRK model showed the best prognostic accuracy.

Keywords

artificial neural networks, chromium, residual kriging, co-kriging

Full Text

ВВЕДЕНИЕ

Значительная часть исследований экологических проблем заключается в изучении загрязнения почв. Различные факторы, такие как климат, градостроительные, метеорологические, гидрологические условия, влияют на результаты мониторинга. Часто эти факторы приводят к неоднородностям и в некоторых случаях к аномалиям в распределении загрязняющих веществ [13, 24, 32]. Это усложняет процесс прогнозирования, поэтому требуется комплексный и долгосрочный мониторинг с использованием менее трудоемких, но не менее точных методов. Пространственная интерполяция является одним из методов, который способствует определению расположения источников загрязнения с достаточной точностью.

В геостатистике (например, в кригинге) предсказания производятся в произвольных точках пространства с учетом пространственной корреляции значений выборки на основе предположения о средней и ковариационной стационарности [12, 31]. Кригинг известен как метод оптимальной интерполяции, который генерирует наилучшие линейные несмещенные оценки в каждой точке, используя модель вариограммы [19].

Методы кригинга продемонстрировали преимущества в прогнозировании свойств почв и количества осадков по сравнению с детерминированными методами [10, 23, 30]. Кокригинг – многомерный вариант кригинга, который вычисляет оценки элемента с помощью других элементов при наличии сильной корреляции между ними [20].

Точность кригинга (кокригинга) зависит от плотности и размера сетки выборки, поскольку метод основан на интерполяции. Однако не всегда возможно отобрать необходимое количество образцов из-за ограничений, связанных с временем или ресурсом. Для преодоления этих недостатков и повышения точности существующих методов требуется более эффективный метод.

В настоящее время подходящим методом прогнозирования являются искусственные нейронные сети (ИНС), которые предоставляют множество мощных методов прогнозирования, распознавания образов, анализа данных и многих других. В традиционной модели ИНС известные переменные (пространственные координаты) используются в качестве входных сигналов, а предсказательные переменные (содержание элементов в анализируемой среде) используются в качестве выходов. Функциональная связь между ними устанавливается через сеть синаптических весов, которые определяются посредством итеративного процесса обучения ИНС. Обзор [5] показал высокую универсальность ИНС. В последнее время этот метод широко используется при решении экологических проблем. Методы ИНС могут помочь прогнозировать загрязнение в сложных нелинейных системах; также успешно прогнозируют содержание загрязняющих веществ в тех местах, где не проводятся наблюдения [18, 26, 27]. ИНС показали более высокую точность прогноза, чем другие методы или экспертные оценки [1, 2].

Существует большое количество различных типов нейронных сетей, каждый из которых имеет свои преимущества и недостатки. Часто используемый тип ИНС в исследованиях окружающей среды – многослойный персептрон (MLP). Персептроны используются в исследованиях по оценке содержания химических веществ в почве [4, 7, 9, 17]. Ряд исследователей применяли персептроны для оценки ресурсов [15, 22], и в большинстве случаев было показано превосходство MLP над геостатистическими и детерминированными методами.

Обобщенные регрессионные нейронные сети (GRNN) представляют собой вариацию нейронных сетей радиальных базисных функций (RBF). GRNN используются как интерполяторы и известны как универсальные аппроксиматоры функций, которые могут аппроксимировать любую непрерывную нелинейную функцию [21]. Ключевое различие между GRNN и MLP заключается в том, что GRNN не требуют процесса обучения с использованием продолжительных итерационных процедур, применяемых для сетей обратного распространения ошибки (MLP и т.д.). GRNN аппроксимирует функцию за один проход, получая оценки непосредственно из набора данных обучения, минимизируя ошибку оценки так называемым параметром SPREAD. Подобно RBF, GRNN имеет радиально базисный слой, где число нейронов равно или меньше числа элементов набора тренировок.

Чтобы обойти слабые места и усилить достоинства упомянутых моделей, было предложено комбинировать различные методы. Исследователи успешно используют гибридизацию геостатистических и нейронных подходов, которая уменьшает ошибки моделей [8, 14, 16, 29].

В этой работе рассмотрены две прогностические модели на основе только ИНС (MLP, GRNN), а также гибридная модель, объединяющая прогнозирование на основе ИНС и кригинга (MLPRK) для прогнозирования содержания Cr в верхнем слое почвы в г. Ноябрьск (Ямало-Ненецкий автономный округ, Россия). Проведено сравнение результатов, полученных с применением этих моделей.

МАТЕРИАЛЫ И МЕТОДЫ

Область исследования

Данные для исследования были получены по результатам почвенной съемки в г. Ноябрьске (N63.193°, E75.507°). Площадь отбора проб составила примерно 16.5 км². Детальное пространственное расположение точек выборки показано на рис. 1. Ландшафт исследуемой территории плоский, грунт состоит из торфяно-подзолисто-глеельвиально-гумусового песка. Всего было отобрано 237 образцов верхнего слоя почвы на глубину 0.05 м. Значения содержания химических элементов были получены химическим анализом.

Рис. 1. Карта-схема места отбора проб: г. Ноябрьск, Ямало-Ненецкий автономный округ, Россия; точками обозначены места отбора проб.

Химический анализ

Подготовка образцов почвы и химический анализ проводились в соответствии со стандартными требованиями в сертифицированной химико-аналитической лаборатории, которая отвечает всем требованиям, предъявляемым к компетенции испытательных и калибровочных лабораторий ИСО/МЭК 17025:2005.

Для анализа применялся метод атомно-абсорбционной спектроскопии (ААС) с распылителями пламени. Высушенные и измельченные образцы почвы разлагали 1 см³ концентрированной хлорной кислоты, 1 см³ концентрированной азотной кислоты и 3 см³ концентрированной фтористоводородной кислоты. После смешивания и нагрева до 50°С в течение 1 часа раствор расщепляли дополнительными 2 см³ концентрированной азотной кислоты и 3 см³ концентрированной фтористоводородной кислоты и выдерживали в течение 1 часа при температуре 90°С. Затем смесь выпаривали досуха, добавляли 1 см³ концентрированной азотной кислоты и 20 см³ бидистиллированной воды и кипятили раствор для растворения осадка. Далее раствор нагревали, чтобы уменьшить объем в 2 раза, и фильтровали через предварительно промытый и предварительно подготовленный фильтр. Раствор анализировали на приборе Perkin Elmer AAS-3 методом атомно-абсорбционной спектроскопии. Предел обнаружения для Cr составлял 10 мг/кг.

В пробах определено содержание восьми элементов (Al, Cr, Mn, Fe, Co, Ni, Zn, Pb).

Пространственное прогнозирование содержания Cr

Алгоритм исследования

Для оценки содержания загрязняющих веществ и прогноза их распределения в неизвестных местах авторы применили три конкурирующих метода: два метода на основе ИНС (MLP и GRNN), а также гибридную модель MLPRK. Программирование ИНС проводилось в среде MATLAB.

MLPRK – это трехступенчатый алгоритм, объединяющий два различных метода интерполяции. Первым шагом является оценка крупномасштабных нелинейных трендов с использованием нейронных сетей (MLP). Второй шаг – анализ остатков ординарным кригингом; последний шаг – оценка, полученная как сумма предсказаний ИНС и результата анализа остатков ординарным кригингом.

В качестве входных параметров моделей используются пространственные координаты, в качестве выходных – концентрации Cr. Кокригинг использует концентрации трех коэлементов (Fe, Co, Ni) в качестве входных данных.

Все образцы были случайным образом разделены на независимые обучающие и тестовые наборы данных. Набор обучающих данных (165 образцов) использовался для обучения ИНС. Набор тестовых данных (72 образца) использовался только для проверки и оценки точности моделей.

Изотропия данных

Для определения зависимости пространственной структуры от направления экспериментальные вариограммы строятся в разных направлениях. Пары выбираются из соответствующего сектора с заданным направлением, углом раствора и шириной полосы, что сужает поле поиска на больших расстояниях.

Инструментом, дающим представление о поведении пространственной структуры, является поверхность вариограммы. Для ее построения вектор h представляется в виде проекции на координатные оси Δx и Δy. Поверхность вариограммы – это поверхность значений, вычисленных на регулярной сетке в пространстве лага. Поверхность вариограммы имеет точечную симметрию относительно точки (0, 0). В случае зависимости от пространственной ориентации пар точек на поверхности вариограммы это может указывать на наличие анизотропии в данных.

Создание ИНС

В качестве первого типа ИНС использовался многослойный персептрон прямого распространения с методом обучения Левенберга-Маркварта [28]. Структура сети определялась методом компьютерного моделирования. Скрытый слой состоял из нескольких нейронов, выходной слой представлял собой содержание элемента в соответствующем образце. Выбор количества нейронов в скрытом слое осуществлялся путем вычисления RMSE предсказания концентрации элемента (Cr) для обучающего (165 точек), тестового (72 точек) и полного набора данных (237 точек). Количество нейронов скрытого слоя изменялось от 2 до 20. Каждая сеть обучалась 500 раз, и выбиралась лучшая из них. Качество сетевого обучения проверялось коэффициентом корреляции Спирмена, средней абсолютной ошибкой (MAE) (4) и RMSE (5) между результатами прогнозов сетей и набором данных для обучения.

В качестве второй ИНС была выбрана GRNN. Основной параметр, характеризующий апроксимационные свойства и точность интерполяции для сети GRNN, − параметр SPREAD. Во время моделирования параметр SPREAD изменялся от 0.001 до 0.30 с шагом 0.001. Сеть GRNN имела 165 входных нейронов в соответствии со 165 точками обучающей подвыборки.

Оценка остатков ординарным кригингом

Процедура оценки остатков ординарным кригингом (ОК) может быть определена следующим образом:

r(x_i) = Z(x_i) – Z_ИНС(x_i), (1)

где r(x_i) – остатки набора данных x_i, Z(x_i) – измеренные значения, Z_ИНС(x_i) – значения, оцененные нейронной сетью. Полученные остатки оценивали с использованием ОК. Оценка в ОК построена как линейная комбинация входных данных:

r_OK(x) = Σ λ_i r(x_i), (2)

где r_OK – оценочное значение в точке x с использованием OK, λ_i – оптимальный вес с условием Σλ_i = 1. Для прогнозирования остатков использовался ОК в приложении ArcGIS. Окончательная оценка содержания загрязняющих веществ Y(x_i) была получена как сумма оценки нейронной сети и оценки остатков ОК.

Y_(xi) = Z_ИНС_(xi) + r_OK(xi). (3)

Оценка точности методов интерполяции

Прогностическая точность каждого выбранного подхода была определена ошибками MAE (4) и RMSE (5) между предсказанием модели и данными из тестового набора данных.

$M A E = \frac{1}{n} \sum_{i = 1}^{n} z_{m o d} (x_{i}) - z (x_{i})$ , (4)

$R M S E = \frac{1}{\sqrt{n}} \sqrt{\sum_{i = 1}^{n} (z_{m o d} (x_{i}) - z (x_{i}))^{2}}$ , (5)

где z_mod(x_i) – предсказанная концентрация (ИНС, кригинг), z(x_i) – измеренная концентрация, n – количество точек.

РЕЗУЛЬТАТЫ

Описательная статистика

Корреляционный анализ (табл. 1) выявил возможные коэлементы для Cr. Три из них (Fe, Co, Ni) (выделены жирным) были использованы для кокригинга. Описательная статистика Cr и его коэлементов показана в табл. 2.

Таблица 1. Корреляционная матрица содержаний элементов

	Al	Cr	Mn	Fe	Co	Ni	Zn	Pb
Al	1
Cr	-0.01	1
Mn	0.39	0.54	1
Fe	0.16	0.83	0.69	1
Co	0.04	0.65	0.59	0.64	1
Ni	-0.01	0.72	0.60	0.75	0.70	1
Zn	0.34	0.10	0.35	0.18	0.23	0.36	1
Pb	0.34	0.07	0.14	0.07	-0.03	0.17	0.50	1

Таблица 2. Описательные статистики моделируемого элемента (Cr) и его коэлементов (Fe, Co, Ni)

Элемент	Минимальное значение, мг/кг	Максимальное значение, мг/кг	Среднее значение, мг/кг	Стандартное отклонение, мг/кг	CV*	Асимметрия	Эксцесс	Медиана, мг/кг
Cr	16.6	140	62.4	24.2	0.39	0.81	0.44	58.8
Fe	4751	28270	132678	43967	0.33	0.79	0.75	12673
Co	2.00	11.4	4.50	1.49	0.33	0.99	2.13	4.42
Ni	3.58	41.9	11.4	4.52	0.40	2.24	12.0	11.0

*CV – коэффициент вариации

Общая концентрация элементов в городских условиях не превышает значения фоновых концентраций в Уральском регионе (Уральский Кларк) [2, 3] и в мировых почвах (World Clarke). Известно, что общее содержание Cr в подзолах находится в диапазоне от 2.6 до 34 мг/кг в Канаде [11] и от 3 до 200 мг/кг в США [25]. Концентрации Cr во всех точках отбора проб составляли от 16.6 до 140 мг/кг со средним значением 62.4 мг/кг и стандартным отклонением 24.2 мг/кг. Из-за асимметрии распределения медианное значение (58.8 мг/кг) более характерно для среднего содержания Cr в исследуемой области, чем среднее арифметическое. Коэлементы демонстрируют сходные характеристики, когда медианные значения (для Fe – 12 673 мг/кг, Со − 4.4 мг/кг, Ni − 11.0 мг/кг) более репрезентативны, чем средние.

Пространственное прогнозирование концентрации Cr

Результат теста хи-квадрат показывает, что распределение этой переменной близко к нормальному (p=0.18). Для демонстрации различий пространственных структур в зависимости от направления построены вариограммы в шести направлениях (0°, 30°, 60°, 90°, 120° и 150°) (рис. 2). Анизотропия исходных данных во всех этих направлениях не обнаруживается на вариограммах направления (см. рис. 2) и поверхности вариограммы (рис. 3).

Рис. 2. Полувариограммы в шести направлениях.

Рис. 3. Вариограммная поверхность.

Окончательная конфигурация выбранной сети MLP составила 2-6-1, т.е. скрытый слой содержит 6 нейронов (рис. 4). В нашем случае 165 точек выборки сформировали набор обучающих данных, который применяется для обучения сети.

Рис. 4. Выбор структуры MLP на основе минимизации RMSE: среднеквадратичная ошибка (RMSE) нейронной сети для тестирования, обучения и общих данных для разного количества нейронов в скрытом слое для Cr.

Во время моделирования для GRNN параметр SPREAD изменяется с 0.001 до 0.30 с шагом 0.001. Минимальное значение RMSE достигается с параметром SPREAD 0.035 (рис. 5).

Рис. 5. Выбор параметра SPREAD на основе минимизации RMSE.

Оценка точности методов интерполяции

MLP и MLPRK показали увеличение точности моделирования по сравнению с геостатистическим методом (кокригинг) и GRNN. Как видно из табл. 3, модели на основе MLP имели меньшую RMSE, чем кокригинг (улучшение на 9.5%). MAE у моделей на основе MLP примерно на 4% лучше, чем у кокригинга. Базовая модель GRNN продемонстрировала неожиданно низкий коэффициент корреляции. Это означает, что метод не может применяться для моделирования поставленной задачи.

Таблица 3. Показатели точности моделей

Метод	Коэффициент ранговой корреляции Спирмена	RMSE, мг/кг	MAE, мг/кг
Кокригинг	0.15	20.7	15.3
MLP	0.42	18.9	14.7
GRNN	0.09	20.0	15.0
MLPRK	0.41	18.8	14.8

ОБСУЖДЕНИЕ

Авторы сравнили разные подходы к моделированию пространственного распределения концентраций химических элементов в поверхностном слое почвы (геостатистика, ИНС и гибридная модель MLPRK). Качество предсказания моделей проанализировано с помощью набора тестовых данных, который не применялся для обучения сетей или оценок кригинга. Направленные вариограммы исходных данных и поверхность вариограммы обучающих данных показаны на рис. 2, 3. Они подтверждают отсутствие какой-либо анизотропии. В табл. 3 приведены статистические параметры, используемые для оценки эффективности различных методов (лучшие значения, продемонстрированные на основе MLP, выделены жирным шрифтом).

Модель MLPRK хорошо воспроизводит пространственную структуру распределения Cr. Она выделяет структурированную информацию, сглаживая шум и локальную изменчивость. Изучение остатков подтверждает важность вариографии для анализа и моделирования пространственных данных с использованием алгоритмов нейронной сети. Направленные вариограммы для остатков демонстрируют чистый эффект самородка, который свидетельствует об отсутствии пространственной корреляции (рис. 6).

Рис. 6. Полувариограммы для остатков по различным направлениям для MLPRK.

На рис. 7 показано сравнение карт распределения пространственного содержания Cr для различных моделей. Распределения были построены с использованием программного обеспечения ArcGIS. Оценка остатков MLP ординарным кригингом позволяет сгладить высокие и низкие значения концентраций химического элемента, что улучшает точность прогнозирования.

Рис. 7. Карты пространственного распределения содержания Cr на исследуемой области для различных моделей.

Одним из возможных объяснений относительно низкой эффективности методов геостатистики может быть сильная зависимость концентрации Cr от локальных изменений условий окружающей среды в исследуемой области. Причиной вариативности содержания Cr могут быть как внутренние факторы (такие как материал и текстуры почвы), так и внешние (такие как антропогенное воздействие, климат и т.д.). Как правило, сильно пространственно зависимые свойства могут определяться внутренними изменениями характеристик почвы, тогда как внешние изменения могут контролировать изменчивость слабо пространственно зависимых параметров [6].

ЗАКЛЮЧЕНИЕ

Цель выполненного исследования – разработка модели, которая может оценить пространственное распределение интересующего элемента верхнего слоя почвы (Cr) в г. Ноябрьске. В настоящей работе показано, что оптимальными показателями обладают модели с использованием MLP и MLPRK. Эффективность этих моделей определяется посредством их сравнительной оценки с другими моделями (кокригинг, GRNN).

Таким образом, проводится сравнение различных подходов к прогнозированию распределения химических элементов в поверхностном слое почвы. Оценка ИНС с остатками предсказания ординарным кригингом уменьшает ошибки предсказания ИНС, что повышает точность моделей. Результаты показывают, что построенные модели на основе MLP более точны, чем основанные на геостатистике. Наибольшее уменьшение RMSE (9.5%) по сравнению с кокригингом наблюдается в модели MLPRK.

Полученные результаты подтверждают обширные возможности гибридных методов (ИНС + кригинг), которые могут быть использованы для повышения точности моделирования пространственного распределения концентраций химических элементов в верхнем слое почвы городских районов, которое характеризуется высокой гетерогенностью.