FORECASTING THE ECOLOGICAL SITUATION USING NEURAL NETWORKS

Full Text

Для принятия своевременных адекватных мер по защите экологии необходимо иметь надежный инструмент прогноза, который позволял бы вычислять будущие значения концентрации токсикантов в атмосферном воздухе. Также такой инструмент позволит принимать более быстрые управленческие решения. Наиболее перспективным становится использование искусственных нейронных сетей, которые позволяют учесть скрытые зависимости между загрязнениями и действующими факторами окружающей среды. Искусственные нейронные сети строятся по принципам организации и функционирования биологических аналогов, это так называемые упрощённые модели биологических нейронных сетей. Нейронные сети - это класс аналитических методов, построенных на принципах обучения мыслящих существ и функционирования мозга и позволяющих прогнозировать значения некоторых переменных в новых наблюдениях по данным других наблюдений после прохождения этапа так называемого обучения на имеющихся данных [5, с. 485]. Нейронная сеть, полученная в результате обучения, выражает закономерности, присутствующие в данных. При таком подходе она оказывается функциональным эквивалентом некоторой модели зависимостей между переменными. Методики прогноза на сегодняшний в своём большинстве основаны на учете характеристик источников загрязнений и некоторых погодных факторов (метеоусловий). Можно выделить следующие источники загрязнений при проектировании нейронной сети: - Высота дымовых труб; - Температура газовоздушной смеси; - Температура окружающего воздуха; - Выброс загрязняющего вещества; - Коэффициент стратификации. Также в модель могут быть добавлены параметры, такие как: плотность и загруженность дорог, текущее состояние дорожного полотна, а также ряд других ГИС параметров. Исходя из результатов многочисленных исследований, целесообразным считается проектирование нейронных сетей с использованием персептрона, входами которого будут характеристики метеоусловий в конкурентный день: направление ветра, его скорость, температура, давление и влажность воздуха. Важная особенность нейронных сетей в системах мониторинга заключается в отсутствии какого-либо четкого метода реализации. Эта особенность открывает безграничные возможности использования нейросетей для прогнозирования концентраций загрязнений. Методы, использующиеся при разработке модели искусственной нейронной сети.Несмотря на отсутствие четкого метода реализации, каждый этап разработки модели может быть разбит на несколько этапов. Согласно общих принциповпроцесс разработки делится на восемь основных этапов. Наиболее популярными сетевыми архитектурами, применяемыми для прогнозирования, являются прямые и рекуррентные сети. В прямых сетях информация перемещается в одном направлении из входного слоя в выходной. Многослойный персептрон является одним из наиболее часто используемых типов искусственных нейронных сетей с прямой связью для задач аппроксимации нелинейных функций [7, с. 5182]. Другие сети с прямой связью включают в себя нейронные сети общей регрессии, сети Уорда и радиальных базисных функций. В отличие от прямой сети в рекуррентной нейронной сети (RNN) выходные нейроны связаны с нейронами предыдущих слоев, что улучшает способность сети к обучению. Одним из популярных примеров данной сети является - сеть Элмана [2, с. 8-15]. Сложные формы рекуррентной сети включают в себя сети с кратковременной памятью (LSTM) для решения проблемы исчезающего градиента. Нейросетевые модели для прогнозирования качества воздуха.В настоящее время проблема загрязнения атмосферного воздуха наблюдается во всех больших городах. Здесь не играет роли крупный ли это промышленный город или мегаполис с миллионным населением. Неблагоприятные метеорологические условия способствуют рассеиванию выбросов, накоплению антропогенных выбросов в воздушном бассейне городов. Во избежание повышения уровня загрязнения необходимо прогнозировать содержание загрязняющих веществ в воздухе с учетом неблагоприятных метео и иных условий. Построение нейросетевой системы включает в себя обработку входных данных, разработку архитектуры и обучение сети. Не существует общего алгоритма реализации для каждого из перечисленных этапов - конфигурирование системы зависит от множества факторов, охватываемых конкретной задачей. Так, для получения прогноза при разработке нейронной сети учитывается природа прогнозируемого временного ряда, желаемая форма получения прогноза, горизонт прогнозирования, требование ко времени получения прогноза, объем входных данных. Гибкость и отсутствие строгой формализации при разработке системы предоставляют широкий спектр возможностей исследования, усовершенствования и адаптации существующих моделей нейронных сетей с целью повышения точности прогноза.Искусственная нейронная сеть представляет собой совокупность искусственных нейронов, осуществляющих обработку информации и обменивающихся между собой данными. В последнее время искусственные нейронные сети, которые способны работать в условиях неполной и нечеткой исходной информации, а также учитывать скрытые зависимости, довольно часто используются для повышения эффективности и точности. Искусственные нейронные сети являют собой математические модели и их аппаратную, и программную реализацию. Реализация разрабатывается в соответствии с принципами организации и функционирования биологических нейронных сетей. Иными словами, сетей нервных клеток живых биоорганизмов. Данный вид моделей возник при изучении процессов, происходящих во время мышления в головном мозге человека. Неоднократно предпринимались попытки имитации этих процессов [9, с. 10-13]. Впоследствии модели в большей степени использовались для задач прогнозирования и практических целей. Нейронные сети не запрограммированы в широком смысле этого слова. Они обучены и обучаемы. Это свойство нейронных сетей является одним из важнейших преимуществ по сравнению с традиционными моделями и алгоритмами. Основная цель обучения сетей - найти связь между нейронами в процессе обучения. В этом процессе нейросеть способна выявить скрытые зависимости между входными и выходными данными. По завершении обучения и тренировки нейросеть способна прогнозировать значения заданной последовательности, основываясь на заданных значениях и существующих факторах. Для прогнозирования качества воздуха используются множество вариаций моделей нейронных сетей, таких как модель рекуррентной сети, модель обнаружения точек изменения рекуррентной сети (CPDM), модель последовательной сети (SNCM), и карты самоорганизующихся функций (SOFM). Данные модели применяются для прогнозирования и моделированияна основе краткосрочных и долгосрочных данных. В общем модели могут предсказать степень загрязнения воздуха того или иного токсиканта с умеренной точностью, с учетом некоторых погрешностей. Модель обнаружения точки изменения.Параметры качества воздуха контролируются различными факторами, такими как скорость выброса загрязняющих веществ из транспортных средств, промышленных предприятий и т. д. Изменение количества выбросов связано с увеличением или же уменьшением транспортных средств, промышленных предприятий или изменением атмосферных условий [1, с. 382]. Предполагается, что движение параметров качества воздуха имеет ряд точек изменения. Данная модель состоит из трех этапов. Первый этап - стадия обнаружения точки изменения включает в себя обнаружение последовательных точек изменения в диаграммах качества воздуха в течение ряда лет. Второй этап - стадия обнаружения группы с помощью точки изменения (CPGD) подразумевает прогнозирование группы точек изменения с помощью обратного распространения. И последний этап - выходной прогнозирующий этап нейронной сети (OFNN) включает в себя прогнозирование выходного сигнала с помощью обратного распространения. Данная модель получает интервалы, разделенные наточки изменения на этапе обучения, и прогнозирует, какой группе назначается каждая выборка на этапе тестирования. Ряд точек изменения обнаруживается с помощью теста Петтитта - непараметрическим методом обнаружения точек изменения. Модель SOFM (Самоорганизующихся карт функций).Эти сети основаны на конкурентном обучении, то есть выходные нейроны сети конкурируют между собой за активацию или запуск, в результате чего в каждый момент времени включен только один выходной нейрон или один нейрон на группу [4, с. 7078]. Выходной нейрон, который побеждает в конкурсе, называется выигрышным нейроном. Один из способов стимулирования конкуренции между всеми выходными нейронами заключается в использовании между ними тормозных связей (путей отрицательной обратной связи). На самоорганизующейся карте нейроны размещаются в узлах решетки, которая обычно является одномерной или двумерной. Нейроны становятся избирательно настроенными на различные шаблоны ввода или классы моделей ввода в ходе конкурентного обучения. Расположение нейронов, настроенных таким образом, упорядочено относительно друг друга таким образом, что над решеткой создается значимая система координат для различных входных объектов. Алгоритм, отвечающий за формирование самоорганизующейся карты, сначала выполняет инициализацию синаптических весов в сети. Это можно сделать, назначив им небольшие значения, выбранные из генератора случайных чисел. Как только сеть была должным образом инициализирована, в формировании самоорганизующейся карты участвуют три основных процесса. Исходя из вышеизложенного модель конкурентного обучения не является приемлемой для прогнозирования. Поскольку данная модель требует весьма большого количества данных. И из-за особенностей модели представляется трудным спрогнозировать хотя бы приблизительное время окончания работы. Рекуррентная сетевая модель (RNN).Как известно, нейронные сети представляют из себя набор алгоритмов, которые схожи по принципу действия с человеческим мозгом. Предназначение нейронных сетей- распознавание паттернов (шаблонов). Распознавание происходит путем интерпретации сенсорных данных посредством маркировки, машинного восприятия и/или кластеризации необработанного ввода. Нейросети могут распознать числовые шаблоны, которые содержатся в векторах, и в которые переводятся реальные данные. Реальные данные включают в себя звук, изображения, временные ряды или текст [8, с. 513-521]. Искусственные нейронные сети состоят из взаимосвязанных процессорных элементов - нейронов. Нейроны в свою очередь направлены на решение конкретной проблемы или задачи. Обобщение нейронной сети, которая имеет внутреннюю память являет собой рекуррентную нейронную сеть (RNN - RecurrentNeuralNetwork). RNN - по своей сути является рекуррентным, потому что выполнение одной той же функции происходит для каждого ввода данных. Вывод входных данных имеет прямую зависимость от предыдущих вычислений. После завершения вывода его результат копируется и отправляется обратно в сеть. Для принятия какого-либо решения сеть учитывает текущий результат ввода и вывода, который сеть извлекла из предыдущих итераций. Рекуррентные нейронные сети отличаются от сетей с прямой связью поскольку они имеют внутреннюю память (состояние) для хранения и обработки последовательности входных данных. Такая особенность делает их незаменимыми в задачах несегментированного распознавания ввода, или распознавания речи. В других нейросетевых моделях все входы независимы друг от друга и не имеют связи друг с другом в отличие от RNN. Для того, чтобы сеть была динамичной, ей необходимо предоставить память. В данном случае память может быть классифицирована как «краткосрочная» и «долгосрочная», в зависимости от времени хранения. Долгосрочная память встроена в нейронную сеть посредством контролируемого обучения, в результате чего, информационное содержимое набора обучающих данных сохраняется в синаптических весах сетей [6, с. 1367]. Однако, для задач, имеющих временное измерение, требуется форма краткосрочной памяти. Реализация краткосрочной памяти основана на непрерывном или дискретном времени. Сети, использующие такой вид памяти для обучения, используют вариант обратного распространения ошибок. Существуют три способа, согласно которым т. н. «память» может быть введена в статические нейронные сети. В порядке возрастания и сложности использования - это: - Модели с линиями отснятой задержки; - Контекстная модель; - Полностью рекуррентные модели. В контекстных или же частичных рекуррентных моделях сохраняются прошлые выходные данные узлов, вместо сохранения прошлых необработанных входных данных. К примеру, выход нейронов скрытого слоя сети прямой связи может использоваться как входы в сеть, вместе с истинными входами. Также они называются контекстными входами. В качестве обучения сети может использоваться классическое обратное распространение, но только тогда, когда контекстные соединения являются концепциированными. В полностью рекуррентных моделях используется полная обратная связь и межсоединения между всеми узлами. Алгоритмы обучения для данных сетей значительно сложнее с точки зрения времени и требований к хранению. К положительным чертам RNN можно отнести моделирование последовательных данных таким образом, что можно сделать предположение, что одна выборка зависит от предыдущих. Такие сети используются даже со сверточными слоями, которые позволяют расширить эффективность окрестности пикселей. Также к положительным чертам рекуррентных моделей можно отнести их относительно лёгкую обучаемость. Обучение модели на начальном этапе хоть и проходит долго, но затем за счёт сохранения предыдущих результатов вычислений в памяти, процесс ускоряется. Ещё одним преимуществом по сравнению с классическими моделями заключается в том, что передача информации по вентилям проходит достаточно быстро. В среднем на прогнозирование уровня загрязнения PM2.5 с базой данных из 5000 наименовании происходит за 6 часов [3, с. 15-22]. Важным достоинством считается то, что рекуррентные модели программируются на языке Python. Этот язык программирования дружественен по отношению к пользователю. Будучи высокоуровневым и мульти парадигмальным языком, он решает широкий спектр задач прикладного характера. Рекуррентную модель на данном языке программирования можно описать в 200 строк кода. К недостаткам рекуррентных нейронных сетей относят градиент исчезающих и взрывных задач. Также тренировка рекуррентных сетей требовательная к ресурсам и мощностям задача. К тому же она не может обрабатывать длинные последовательности (но только если в качестве функции активации используется relu). Как отмечалось ранее тренировка нейронной сети, достаточно требовательная задача. И требования здесь предъявляются к вычислительным мощностям машины, на которых запускается модель. Использование LSTMRNN модели для прогнозирования загрязнения атмосферного воздуха частицами PM2.5. Рекуррентные нейронные сети используются для создания последовательных данных для многих областей глубокого обучения, включая классификацию изображений, перевод, отслеживание объектов и распознавание голоса. Два типа RNN - это LSTM (Longshort-termmemory) и стробированные рекуррентные единицы. LSTM или долгая краткосрочная память - это особая разновидность RNN, способная к обучению долговременным зависимостям. Впервые они были представлены в 1997 году учеными Зеппом Хохрайтером и Юргеном Шмидхубером. Архитектура сети разворачивается для отображения всей сети в виде полной последовательности. Сети долгой краткосрочной памяти разработаны для того, чтобы избегать проблем долгосрочной зависимости. Запоминание информации и её хранение в памяти - является поведением по умолчанию для LSTM Все рекуррентные нейронные сети имеют форму цепи, состоящей из повторяющихся модулей. Состояние ячейки - горизонтальная линия, проходящая через верх диаграммы, является ключом к LSTM. Её состояние похожена конвейерную ленту с линейными взаимодействиями. Для потока информации не составляет труда перемещаться по ячейке без изменений. Одной из особенностей является способность добавлять информацию о состоянии ячейки, строго регулируемыми структурами, называемыми вентилями. Вентили имеют возможность пропустить информацию через себя по желанию. Сети с кратковременной памятью являют собой видоизмененную версию периодических нейронных сетей, которая в свою очередь упрощает процесс запоминания прошлых данных в памяти. Данный вид сетей решает задачи классификации, обработки. Также LSTM хорошо подходит для прогнозирования временных рядов, где учитываются временные задержки неизвестной длительности. Обучение модели происходит с помощью обратного распространения ошибки. Рекурсивная формула RNN сети выглядит следующим образом: h_t=tahn(W_h h_(t-1)+W_x x_t) (1) y_t=W_y h_t (2) где xt-входной вектор, ht-скрытый слой, yt-вектор вывода эксперимента, Wh- взвешенная матрица. Рекуррентные нейронные сети применяются к долгой краткосрочной памяти для создания процесса вычислений, полученных входных данных и создания выходных данных [3, с. 485]. В ходе этого процесса долговременная память создается из краткосрочной. Система LSTM состоит из слоя входного вентиля (inputgate), вентиля забывания (forgetgate), и выходного вентиля (outputgate). Архитектура LSTM показана на рисунке 1 [10, с. 7]. LSTM вычисляет скрытое состояние следующим способом: i_t= σ(W_f [h_(t-1),x_t ]+ b_i ) (3) f_t= σ(W_f [h_(t-1),x_t ]+ b_f) (4) Sigmoid= 1/(1+ e^(-1) ) (5) o_t=σ(W_0 [h_(t-1),x_t ]+ b_o) (6) 〖c~〗_t= tahn(W_c [h_(t-1),x_t ]+ b_c) (7) c_t= f_t* c_(t-1)+ i_t* 〖c~〗_t (8) h_t= o_t* tanh⁡(c_t) (9) где σ - логистическая сигмоидальная функция, i, f, o - входные вентили. h-скрытый вектор одинакового размера в каждом слое, W - матрица для преобразования информации вектора в ячейку и m - векторный признак в каждом вентиле. В уравнении c~t- скрытый элемент, который является входным слоем, ct- внутренняя память, вычисляемая в устройстве, и ht- выход скрытого состояния, получаемый путем умножения памяти. Рис. 1. Архитектура LSTM Вентиль забывания отвечает за удаление информации из ячейки. Он получает выход скрытого состояния с предыдущего временного шага (ht- 1) и вход текущего временного шага (xt). Входные данные умножаются на весовые матрицы, и таким образом добавляется смещение. Для получения выходного вектора со значениями в диапазоне от 0 до 1 используется сигмовидная функция, которая определяет, что оставить, а что отбросить. Входной вентиль передает информацию в состояние ячейки. Сигмовидная функция применяется в качестве фильтра для ht-1 и xtдля построения вектора подходящего значения для состояния ячейки в диапазоне от -1 до 1. Затем, эти значения добавляются в состояние ячейки. Выходной вентиль решает какую информацию выводить из ячейки. Данныйэтап выполняется за три шага. Для масштабирования состояния ячейки от -1 до 1 строится вектор. Затем сигмоидная функция применяется к скрытому состоянию, чтобы создать фильтр значений. И, наконец отфильтрованные значения умножаются на начальныйвектор, для получения выходной информации. Вентили LSTM показаны на рисунке 2 [10, с. 7]. Рис. 2. Вентили LSTM Для того чтобы использовать LSTM модель для прогнозирования загрязнения необходимо: - Очистить и упорядочить данные. Данные разделяются на два столбца. В первом это количество загрязнителя по индексу качества воздуха и во втором - в какой день; - Разбить данные на части: обучение, проверка, прогнозирование; - Перенести проблему временных рядов в контролируемую задачу. Для улучшения производительности модели необходимо использовать среднеквадратичную ошибку и корреляцию. В качестве входных данных для тренировки модели использовались данные и концентрации PM2.5 в нескольких точках города Алматы. А именно в квадрате улиц Маркова-Аль-Фараби-Розыбакиева-Абая. Замеры проводились в течение 2019-2021 гг. Данные предоставлены ресурсом Airkaz.org. Из наблюдений становится видно, что наибольший рост загрязнения приходится на март. Из-за особенностей географического положения города Алматы, в зимний период воздух «застаивается» и уменьшается продуваемость. На рисунке 3 изображена диаграмма загрязнения воздуха с 2019-2021 гг. Рис. 3. Загрязнение воздуха PM2.5 в марте - апреле c 2019-2021 гг. Выводы. В статье были рассмотрены методы и модели сбора экологической информации, её оценки, а также модели прогнозирования загрязнения атмосферного воздуха мелкодисперсными частицами PM2.5 с помощью нейронных сетей. Касательно методов сбора информации, то в работе используются мобильные датчики в принципе работы которых задействованы группы физико-химических методов. А именно методы анализа газового состава загрязняющих веществ. Оценка загрязнения производится по индексу качества воздуха - AQI, при подсчете которого используются методы рассеивания. При этом индекс качества воздуха используется в большинстве стран на государственном уровне, для информирования общественности об уровне загрязнения атмосферного воздуха тем или иным токсикантом. При прогнозировании уровня загрязнения атмосферного воздуха использовалась рекуррентная нейронная сеть с долгой краткосрочной памятью, которая доказала свою эффективность при прогнозировании такого вида данных.

About the authors

O. V Kisseleva

Kazakh-German University

Ph.D.

E. A Savelyeva

Kazakh-German University

Ph.D.

I. G Dadaeva

Kazakh-German University

Ph.D.

References

Supplementary files