The Possibilities of Using Big Data Technologies in Solving Problems of Processing Data on Atmospheric Air Pollution

Full Text

ВВЕДЕНИЕ

Загрязнение воздуха является одной из самых актуальных современных экологических проблем. Большинство из этих проблем связаны с агрессивным воздействием человеку на природу [7: 169].

Увеличение количества стационарных постов контроля загрязнения атмосферы в каждом конкретном городе, расширение списка городов, где ведутся постоянные измерения концентраций загрязняющих веществ, увеличение перечня контролируемых примесей – одна из актуальных задач развития экологического мониторинга.

Для контроля качества воздуха необходимы эффективные инструменты и методы мониторинга. В последние годы технологии Big Data стали широко применяться в различных областях, где требуется обработка и анализ больших объемов данных. В контексте мониторинга атмосферного воздуха, использование технологии Big Data может предоставить значительные преимущества в сборе, обработке и анализе данных, что позволит улучшить качество мониторинга и принимать более эффективные экологические меры.

В последние годы исследования, направленные на улучшение прогноза экологической обстановки за счет применения методов машинного обучения, описанные в трудах отечественных [4; 6; 7; 9; 10] и зарубежных [3; 8; 11; 13] научных групп, позволили выявить основные преимущества и недостатки применения искусственного интеллекта в данной предметной области. Одним из узких мест является постоянно растущий объем статистических данных, необходимых для построения более точных моделей прогноза.

1. ПОСТАНОВКА ЗАДАЧИ

В рамках исследований предполагается, что совместное использование аппаратных средств в виде измерительных станций, алгоритмов больших данных (Big Data) и машинного обучения позволит улучшить существующие методы прогнозирования уровня загрязнения воздуха. Для проведения исследований используются статистические данные по городу Москве ввиду наибольшего уровня покрытия измерительными станциями на территории РФ.

2. ФАКТОРЫ, СОПУТСТВУЮЩИЕ ИСПОЛЬЗОВАНИЮ BIG DATA В ОБЛАСТИ МОНИТОРИНГА АТМОСФЕРНОГО ВОЗДУХА

Для формирования факторов были проанализированы основные задачи экологического мониторинга, принципы построения автоматизированных систем мониторинга загрязнения воздуха, представленные в монографии [12].

Факторами, способствующими использованию технологий Big Data при решении задач по обработке данных о загрязнении атмосферного воздуха, являются:

• повышение точности и достоверности данных. Использование технологий Big Data позволяет собирать и анализировать огромные объемы информации из различных источников, таких как датчики, атмосферные модели и спутниковые данные;
• обнаружение и прогнозирование загрязнений. Благодаря анализу больших объемов данных и использованию алгоритмов машинного обучения, можно выявить паттерны и тренды загрязнения воздуха;
• решение сложных проблем. Big Data позволяет анализировать данные из различных источников, включая географическую и климатическую информацию т.е. позволяет решать более сложные проблемы, например, определение источников загрязнения или предсказание влияния погодных условий на качество воздуха;
• быстрая обработка данных. Big Data позволяет обрабатывать и анализировать большие объемы данных в реальном времени. Это особенно важно для мониторинга атмосферного воздуха, где быстрая реакция на изменения состояния воздуха может быть критически важна;
• оптимизация ресурсов. С использованием Big Data можно оптимизировать использование ресурсов, например, для более точного мониторинга;
• оптимизация принятия решений. Big Data помогает принимать более обоснованные и эффективные решения;
• адаптация к изменениям климата. Одной из важных задач мониторинга атмосферного воздуха является адаптация к изменениям климата. Анализ данных Big Data помогает прогнозировать возможные изменения с целью разработки мероприятий по адаптации;
• разработка стратегии по охране природы и биоразнообразия. Мониторинг атмосферного воздуха с использованием технологий Big Data позволяет не только контролировать загрязнение, но и изучать влияние загрязнения на экосистему;
• автоматизация процессов. Big Data позволяют автоматизировать многие процессы, связанные с мониторингом атмосферного воздуха, например, сбор и анализ данных, генерация отчетов и т.д.

3. ХАРАКТЕРИСТИКИ BIG DATA, ПРИМЕНИМЫЕ К ЗАДАЧЕ МОНИТОРИНГА АТМОСФЕРНОГО ВОЗДУХА

Описание предметной области, а именно, мониторинг уровня загрязнения атмосферного воздуха, можно представить, опираясь на основные характеристики больших данных, также известных как «The 10 Vs model of Big data» [15: 4–5]:

Объем

Объем информации, обрабатываемой в течении дня, недели и месяца, представлен в табл. 1.

 

Таблица 1

Объем информации, обрабатываемой из выбранных источников [The amount of information processed from selected sources]

Название источника [Name of the source]	Формат данных [Data format]	Объем данных за день (Мб) [The amount of data per day (MB)]	Количество параметров [Number of parameters]
devices center community	CSV, JSON	240	9
Air CMS	CSV	100	6
World Air Quality Index	JSON, XML	100	9
mosecom.mos.ru	JSON	100	20
SILAM	NC4	400	14

 

Скорость накопления

Скорость накопления данных определяется двумя факторами.

• Скоростью накопления от одного источника данных. Также учитывается, что разные параметры, полученные от одного и того же источника, могут обновляться с разной частотой.
• Количеством источников данных. Скорость накопления данных зависит от количества точек, генерирующих новую информацию. Исходя из поставленной задачи, источниками данных служат измерительные станции. Так как наличие «народных» станций часто меняется, количество станций оценивалось округленно до десятков.

 

Таблица 2

Факторы скорости накопления данных [Factors of data accumulation rate]

Параметр, источник [Parameter, source]	Devices center community	Air CMS	World Air Quality Index	mosecom	SILAM
Скорость накопления [Accumulation rate]	1 раз в 5 мин [Every 5 minutes]	В реальном времени [In real time]	В реальном времени [In real time]	1 раз в час [Every hour]	В реальном времени [In real time]
Количество станций [Number of stations]	50	70	10	20	10

 

Факторы скорости накопления данных по каждому из представленных источников представлена в табл. 2.

Разнообразие

Данные могут отличаться как по контенту, так и по типу данных:

• структурированные;
• слабоструктурированные;
• неструктурированные.

В представленных источниках структурированными данными являются CSV-файлы, также используются слабоструктурированные данные в виде JSON-файлов и XML-файлов.

Преимущества и недостатки работы с тем или иным типом данных проявляются при постановке задачи (например, обработка данных в реальном времени с минимальным временем на предобработку или исследование скрытых зависимостей в данных за период в несколько лет).

Достоверность

Достоверность данных может быть подвергнута сомнению при ручном вводе параметров наблюдения, либо при большом количестве статистических выбросов после автоматического сбора информации с аппаратуры. Стопроцентная достоверность не всегда важна.

В большинстве случаев, когда скорость накопления данных больше тысячи записей в секунду, то одна или даже десять ошибочных записей не создадут проблемы. Ведь после них последуют еще 900 записей хорошего качества.

Изменчивость

Потоки данных могут изменяться по разным причинам: из-за социальных явлений, сезонов, внешнего воздействия и т.п. Когда собирают, например, данные температуры производственного оборудования или вычислительного сервера, информация постоянно изменяется, если измерять температуру достаточно точно.

Распространенным сценарием изменения частоты получения данных является временное отключение измерительных станций, которое бывает штатным и нештатным (табл. 3). К штатным отключениям относятся случаи, когда рядом со станцией производятся строительные работы, локально повышающие уровень атмосферного воздуха. Нештатные ситуации более характерны для домашних измерительных станций. В связи с этим, в настоящее время разрабатываются новые концепции компактных измерительных станций, учитывающих проблемы низкой отказоустойчивости и энергонезависимости [5: 243].

 

Таблица 3

Процент пустых значений в данных, полученных с домашних станций за календарный месяц [Percentage of empty values in data received from home stations for a calendar month]

Параметр [Parameter]	Описание параметра [Description of the parameter]	Процент пустых значений [Percentage of empty values]
sensor_id	Идентификатор датчика [Sensor ID]	0,000
sensor_type	Тип датчика [Sensor type]	0,000
location	Территориальное расположение [Location]	0,000
timestamp	Момент времени [Timestamp]	0,000
pressure	Давление [Pressure]	0,767
temperature	Температура [Temperature]	1,054
humdity	Влажность [Humdity]	1,845
pm2.5	Концентрация частиц PM2.5 [The concentration of PM2.5 particles]	2,294
pm10	Концентрация частиц PM10 [The concentration of PM10 particles]	1,921

 

При разработке моделей машинного обучения важно «натренировать» модель так, чтобы как можно точнее различать случаи изменчивости и нарушения достоверности в данных.

Ценность

Ценность аномальных значений концентрации тех или иных вредных веществ в воздухе должна быть выше, чем в других предметных областях, так как скачок значений может означать разовый выброс вредных веществ в атмосферу и помочь с дальнейшей классификацией источника загрязнения. Так как домашние измерительные станции обладают меньшей отказоустойчивостью по сравнению с городскими, то целесообразно это учитывать при распределении весов наблюдений при обучении.

4. ПРАКТИЧЕСКОЕ ОБОСНОВАНИЕ ИСПОЛЬЗОВАНИЯ ТЕХНОЛОГИЙ BIG DATA ДЛЯ РАБОТЫ С ДАННЫМИ ИЗМЕРИТЕЛЬНЫХ СТАНЦИЙ

Для практического обоснования использования технологий Big Data было проведено сравнение библиотеки для обработки и анализа данных Pandas и библиотеки для работы с большими данными PySpark по двум параметрам:

• размер файла с данными (от 0,1 до 50ГБ);
• время выполнения запроса (в секундах).

Было проведено сравнение по двум стандартным вариантам SQL-запроса: COUNT (рис. 1) и SUM (рис. 2).

 

Рис. 1. Время выполнения запроса COUNT

Fig. 1. The execution time of the COUNT request

 

Рис. 2. Время выполнения запроса SUM

Fig. 2. The execution time of the SUM request

 

По результатам сравнения можно утверждать, что библиотеку Pandas целесообразно использовать при обработке небольших объемов информации (до 15 ГБ). Чем больше объем обрабатываемой информации, тем сильнее заметна разница в скорости работы. В связи с тем, что набор исторических данных собирается для последующего решения задачи прогнозирования и классификации источников загрязнения, потребуется использование данных измерительных станций, накопленных за несколько лет (объем свыше 50 ГБ). Данное обстоятельство является преимуществом использования PySpark по сравнению с Pandas. PySpark также предлагает два модуля для машинного обучения – ML и MLlib. Модули машинного обучения в PySpark содержат разнообразные инструменты для построения моделей [2: 748–749].

При выполнении более сложного запроса эффективность библиотеки PySpark была выше на всех участках сравнения.

Стоит отметить, что при проведении сравнительного анализа на отметках 30 ГБ и 35 ГБ использование ресурсов компьютера было максимальным и сопровождалось ошибками, представленными на рис. 3.

 

Рис. 3. Снимок экрана. Переполнение ОЗУ при обработке набора данных размером более 30 ГБ

Fig. 3. Screenshot. RAM overflow when processing a data set larger than 30GB

 

Подобных проблем не возникло при использовании библиотеки для работы с большими данными PySpark, что позволило обработать порядка 50 ГБ информации о загрязнении атмосферного воздуха за календарный месяц (август 2023 г.).

5. МОДЕЛЬ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ, ПОЛУЧЕННЫХ С ИЗМЕРИТЕЛЬНЫХ СТАНЦИЙ

При помощи средств Big Data разнородные данные (такие как концентрация вредных веществ, температура, влажность, ветер, координаты измерительных станций) поступают на вход программного комплекса в виде временного ряда, обрабатываются с учетом сезонной составляющей и подаются на вход модели машинного обучения для осуществления прогноза.

Модель обработки больших данных, полученных с измерительных станций, можно представить в виде функциональной модели (рис. 4).

 

Рис. 4. Модель обработки больших данных, полученных с измерительных станций

Fig. 4. Model of processing big data received from measuring stations

 

Данную модель можно использовать с целью масштабирования тренировочной выборки и ускорения процесса обработки информации в рамках решения задач кластеризации, представленных в [7], а также для моделей прогноза, представленных в [4; 8].

Преимущества использования схожей по концепции модели, состоящей из уровня приложения, сетевого и сенсорного уровня описываются в статье [15: 6–7].

Исходя из рекомендаций Всемирной Организации Здравоохранения (ВОЗ), в табл. 5 представлены выбранные для последующего анализа параметры по причине их регулярного возникновения в городских условиях.

Наиболее важными параметрами в оценке уровня загрязнения атмосферного воздуха являются частицы мелкодисперсной пыли PM10 и PM2.5. Важность этих параметров при решении задачи прогнозирования также отмечается в работах [8; 14; 16].

Основную часть вклада в загрязнение атмосферного воздуха в крупных городах с развитой промышленностью и транспортной сетью составляют: оксид азота, диоксид азота, оксид углерода, диоксид серы, взвешенные частицы диаметром менее 10 мкм (РМ10), взвешенные частицы диаметром менее 2,5 мкм (РМ2,5), а также озона [1: 103].

Для выбранных параметров была составлена матрица корреляций Пирсона (рис. 5) для выявления скрытых зависимостей между анализируемыми параметрами и определения целесообразности построения модели прогноза на основе выбранного набора параметров.

 

Рис. 5. Матрица корреляций Пирсона

Fig. 5. Pearson Correlation Matrix

 

Обнаружено высокое значение корреляции между параметрами PM2,5, PM10 и СО, что говорит о благоприятном выборе веществ для информационной модели прогноза.

 

Таблица 5

Параметры из набора данных. Источник: Сайт Мосэкомониторинг (https://mosecom.mos.ru) [Parameters from the dataset. Source: Mosecomonitoring Website (https://mosecom.mos.ru)]

Параметр [Parameter]	Источники попадания в атмосферу [Sources of atmospheric exposure]	Примечание [Notation]
PM 10	Глобальный трансграничный перенос, автотранспорт, промышленность, вынос с подстилающих поверхностей (незадернованные почвы, дороги), теплоэнергетика (при использовании резервного топлива) [Global cross-border transport, motor transport, industry, removal from underlying surfaces (unpaved soils, roads), thermal energy (when using reserve fuel)]	Мелкодисперсные частицы сверхмалого размера (меньше 10 мкм) [Fine particles of ultra-small size (less than 10 microns)]
PM 2,5	Глобальный трансграничный перенос, автотранспорт, промышленность, пожары [Global cross-border transport, motor transport, industry, fires]	Представляют собой мелкодисперсные частицы сверхмалого размера (менее 2,5 мкм) [They are fine particles of ultra-small size (less than 2.5 microns)]
H2S (сероводород) [H2S (hydrogen sulfide)]	Теплоэнергетика (при сжигании резервного топлива), переработка нефти; автотранспорт [Thermal power engineering (burning of reserve fuel), oil refining; motor transport]	Бесцветный газ с запахом протухших яиц [A colorless gas with the smell of rotten eggs]
SO2 (диоксид серы) [SO2 (sulfur dioxide)]	Полигоны захоронения отходов (в том числе на прилегающей областной территории), очистные сооружения, переработка нефти [Landfills (including in the adjacent regional territory), sewage treatment plants, oil refining]	В чистом виде – бесцветный газ с характерным запахом. В концентрациях, наблюдаемых в Москве, не имеет запаха [In its pure form, it is a colorless gas with a characteristic odor. In concentrations observed in Moscow, it has no odor]
NO (оксид азота) [NO (nitric oxide)]	Теплоэнергетика (при сжигании резервного топлива), предприятия нефтехимической отрасли, автотранспорт [Thermal power engineering (burning of reserve fuel), enterprises of the petrochemical industry, motor transport]	Инертный газ, не обладает запахом и цветом [An inert gas, has no odor and color]
NO2 (диоксид азота) [NO2 (nitrogen dioxide)]	Теплоэнергетика (при сжигании резервного топлива), предприятия нефтехимической отрасли, автотранспорт [Thermal power engineering (burning of reserve fuel), enterprises of the petrochemical industry, motor transport]	В чистом виде – газ желто-бурого цвета с характерным запахом. В концентрациях, наблюдаемых в Москве, не имеет запаха [In its pure form, it is a yellow-brown gas with a characteristic odor. In concentrations observed in Moscow, it has no odor]
CH4 (метан) [CH4 (methane)]	Естественные природные факторы, глобальный трансграничный перенос (вулканы, гниение органики), очистные сооружения, переработка нефти, полигоны захоронения отходов [Natural factors, global transboundary transport (volcanoes, organic decay), sewage treatment plants, oil refining, landfills]	Бесцветный газ без запаха [A colorless, odorless gas]
O3 (озон приземный) [O3 (ground-level ozone)]	Естественные природные факторы, глобальный трансграничный перенос (вулканы, гниение органики), автотранспорт, переработка нефти, авиатранспорт [Natural factors, global transboundary transport (volcanoes, organic decay), motor transport, oil refining, air transport]	Бесцветный газ, сильный окислитель [Colorless gas, strong oxidizer]

 

ЗАКЛЮЧЕНИЕ

Включение технологий Big Data в область мониторинга атмосферного воздуха является перспективным и существенным шагом в борьбе с атмосферным загрязнением. Благодаря возможности обработки и анализа больших объемов данных, эти технологии позволяют более точно предсказывать и оценивать качество воздуха, а также определять и анализировать источники загрязнения. Это позволяет эффективно принимать меры по уменьшению загрязнения и разрабатывать более точные стратегии мониторинга и регулирования качества воздуха. Однако, для успешной реализации технологий Big Data в этой области, требуется продолжение исследований и разработка инновационных методов сбора, передачи и обработки данных.

В рамках статьи была обоснована целесообразность и эффективность применения технологий Big Data, а именно, библиотеки PySpark в выбранной предметной области, была представлена в виде схемы Модель обработки больших данных, полученных с измерительных станций. Для решения последующих задач прогноза и классификации источников загрязнения атмосферного воздуха была построена матрица корреляций Пирсона.

Последовательное использование больших данных и методов машинного обучения позволит обеспечить чистый и здоровый воздух для будущих поколений.

About the authors

Dmitry N. Bogomolov

MIREA – Russian Technological University

Author for correspondence.
Email: bogomolov.d.n@edu.mirea.ru

graduate student, Department of Instrumental and Application Software

Russian Federation, Moscow

Sergey B. Plotnikov

MIREA – Russian Technological University

Email: plotnikovsb@mail.ru

Cand. Sci. (Eng.), associate professor, Department of Instrumental and Application Software

Russian Federation, Moscow

References

Supplementary files