Computational nanotechnologyComputational nanotechnologyComputational nanotechnologyComputational nanotechnologyComputational nanotechnologyComputational nanotechnology2313-223X2587-9693YUR-VAK63130310.33693/2313-223X-2024-11-1-162-170INFORMATICS AND INFORMATION PROCESSINGИНФОРМАТИКА И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫResearch ArticleThe Possibilities of Using Big Data Technologies in Solving Problems of Processing Data on Atmospheric Air PollutionВозможности использования технологий Big Data при решении задач по обработке данных о загрязнении атмосферного воздухаBogomolovDmitry N.БогомоловДмитрий Николаевич
Russian Federation

graduate student, Department of Instrumental and Application Software

аспирант, кафедра инструментального и прикладного программного обеспечения

bogomolov.d.n@edu.mirea.ruPlotnikovSergey B.ПлотниковСергей Борисович
Russian Federation

Cand. Sci. (Eng.), associate professor, Department of Instrumental and Application Software

кандидат технических наук, доцент, кафедра инструментального и прикладного программного обеспечения

plotnikovsb@mail.ruMIREA – Russian Technological UniversityМИРЭА – Российский технологический университет300420241111621702604202426042024Copyright ©; 2024, Yur-VAKCopyright ©; 2024, Юр-ВАК2024Yur-VAKЮр-ВАКhttps://journals.eco-vector.com/2313-223X/about/editorialPolicieshttps://journals.eco-vector.com/2313-223X/article/view/631303

The main objective of the article is to substantiate the possibility of using Big Data technologies in the field of atmospheric air monitoring. In the form of a diagram, a model for processing big data obtained from measuring meteorological gas analysis stations using the PySpark library for further experimental studies is presented. The factors accompanying the use of Big Data in the field of atmospheric air monitoring are derived, and the performance of the Pandas and PySpark libraries is compared. The obtained results will allow us to further rely on the derived factors and use the most optimal data processing technologies to build predictive machine learning models in the field of analyzing the level of atmospheric air pollution. Consistent use of big data and machine learning methods will ensure clean and healthy air for future generations through more effective predictive analytics. This article is valuable for students and specialists in the field of information technology, in particular, in the field of data processing and machine learning.

Основная задача статьи – обоснование возможности использования технологий больших данных (Big Data) в сфере мониторинга атмосферного воздуха. В виде схемы представлена модель обработки больших данных, полученных с измерительных метеорологических газоанализаторных станций с использованием библиотеки PySpark для проведения дальнейших экспериментальных исследований. Выведены факторы, сопутствующие использованию Big Data в области мониторинга атмосферного воздуха, и проведено сравнение производительности библиотек Pandas и PySpark. Полученные результаты позволят в дальнейшем опираться на выведенные факторы и использовать наиболее оптимальные технологии работы с данными для построения предиктивных моделей машинного обучения в области анализа уровня загрязнения атмосферного воздуха. Последовательное использование больших данных и методов машинного обучения позволит обеспечить чистый и здоровый воздух для будущих поколений за счет более эффективной предиктивной аналитики. Данная статья имеет ценность для обучающихся и специалистов в области информационных технологий, в частности, в области обработки данных и машинного обучения.

big datadata processingatmospheric air monitoringpollution forecastingбольшие данныеобработка данныхмониторинг атмосферного воздухапрогнозирование загрязненийAzemov D.T. Assessment of the quality of atmospheric air in St. Petersburg based on the results of the operation of the automated air monitoring system in 2019. In: Modern problems of hydrometeorology and environmental monitoring in the CIS: A collection of abstracts of the International Scientific and Practical Conference dedicated to the 90th anniversary of the Russian State Hydrometeorological University (St. Petersburg, October 22–24, 2020). St. Petersburg: Russian State Hydrometeorological University, 2020. Pp. 103–104. EDN: BTHHCS.Аземов Д.Т. Оценка качества атмосферного воздуха Санкт-Петербурга по результатам эксплуатации автоматизированной системы мониторинга атмосферного воздуха в 2019 // Современные проблемы гидрометеорологии и мониторинга окружающей среды на пространстве СНГ: сб. тезисов Междунар. науч.-практ. конф., посвященной 90-летию Российского государственного гидрометеорологического университета (С.-Петербург, 22–24 октября 2020 г.) СПб.: Рос. гос. гидрометеорологический ун-т, 2020. С. 103–104. EDN: BTHHCS.Borisov I.D., Semenov V.A., Bychkova Ya.A., Zhao M.N. Apache Spark и Pyspark. In: Young Russia: Collection of materials of the XIV All-Russian scientific and practical conference of young scientists with international participation (Kemerovo, April 18–21, 2023). Kemerovo: Kuzbass State Technical University named after T.F. Gorbachev, 2023. Pp. 31603.1–31603.3. EDN: UMSNKI.Борисов И.Д., Семёнов В.А., Бычкова Я.А., Чжао М.Н. Apache Spark и Pyspark // Россия молодая: сб. матер. XIV Всерос. науч.-практ. конф. молодых ученых с международным участием (Кемерово, 18–21 апреля 2023 г.). Кемерово: Кузбасский гос. техн. ун-т им. Т.Ф. Горбачева, 2023. С. 31603.1–31603.3. EDN: UMSNKI.Bosubabu S. Air pollution monitoring and prediction system using the Internet of things. International Journal of Research and Development in Engineering Sciences. 2020. Vol. 2. Issue 3. Pp. 144–150.Bosubabu S. Air pollution monitoring and prediction system using the Internet of things // International Journal of Research and Development in Engineering Sciences. 2020. Vol. 2. Issue 3. Pp. 144–150.Vinogradova E.A., Dmitriev M.M., Kudryavets A.S. Air eco-monitoring using technological solutions to process data from automatic online air quality monitoring systems using machine learning, artificial intelligence and big data analytics approaches. In: Modern technologies: Problems and development trends: Monograph. Petrozavodsk: International Center for Scientific Partnership “New Science” (Individual Entrepreneur Ivanovskaya I.I.), 2021. Pp. 174–189. EDN: FKJEWT.Виноградова Е.А., Дмитриев М.М., Кудрявец А.С. и др. Способы экологического мониторинга воздуха с применением технологических решений для их обработки и анализа, включая машинное обучение, искусственный интеллект и аналитику больших данных // Современные технологии: проблемы и тенденции развития: монография. Петрозаводск: Междунар. центр науч. партнерства «Новая Наука» (ИП Ивановская И.И.), 2021. С. 174–189. EDN: FKJEWT.Gusak D.V. Device concept for organization of monitoring network. Bulletin of the Peoples’ Friendship University of Russia. Series: Ecology and Life Safety. 2023. Vol. 31. Issue 2. Pp. 241–250. (In Rus.) DOI: 10.22363/2313-2310-2023-31-2-241-250. EDN: HCKTOL.Гусак Д.В. Концепция прибора для организации сети мониторинга // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2023. Т. 31. № 2. С. 241–250. DOI: 10.22363/2313-2310-2023-31-2-241-250. EDN: HCKTOL.Egorov G.G. The use of big data technology for environmental protection. In: Ecophilosophy in the design of a noospheric city: A collection of articles based on the results of the Third Russian Round Table with international participation (Moscow, May 18, 2023. E.V. Barkova, O.M. Buzskaya (eds.). Moscow: Ruscience Limited Liability Company, 2023. Pp. 42–48.Егоров Г.Г. Использование технологии big data для охраны окружающей природной среды // Экофилософия в проектировании ноосферного города: сб. ст. по итогам Третьего российского круглого стола с международным участием (Москва, 18 мая 2023 г.) / под ред. Э.В. Барковой, О.М. Бузской. М.: ООО «Русайнс», 2023. С. 42–48.Igonina E.I. Application of machine learning for clustering of Russian regions on population health and ecology. In: I. Lipanov’s scientific readings: Materials of the regional scientific conference (Izhevsk, June 15–16, 2021). Izhevsk: Izhevsk State Technical University named after M.T. Kalashnikov, 2021. Pp. 169–175. EDN: HURYBU.Игонина Е.И. Применение машинного обучения для кластеризации регионов России по здоровью населения и экологии // I Липановские научные чтения: матер. региональной науч. конф. (Ижевск, 15–16 июня 2021 г.) Ижевск: Ижевский гос. техн. ун-т им. М.Т. Калашникова, 2021. С. 169–175. EDN: HURYBU.Johansson C., Zhang Z., Engardt M. et al. Improving 3-day deterministic air pollution forecasts using machine learning algorithms. Atmos. Chem. Phys. Discus. 2023. DOI: 10.5194/acp-2023-38.Johansson C., Zhang Z., Engardt M. et al. Improving 3-day deterministic air pollution forecasts using machine learning algorithms // Atmos. Chem. Phys. Discuss. 2023. DOI: 10.5194/acp-2023-38.Kaplenkova P.A., Sivova A.N. Prediction of atmospheric air pollution using machine learning and PySpark. Science and Business: Ways of Development. 2020. No. 10 (112). Pp. 54–56. (In Rus.) EDN: LTZEYE.Капленкова П.А., Сивова А.Н. Предсказывание загрязнения атмосферного воздуха с помощью машинного обучения и PySpark // Наука и бизнес: пути развития. 2020. № 10 (112). С. 54–56. EDN: LTZEYE.Kostromin N.S., Sivova A.N. Application of machine learning methods for solving environmental problems. Modern Science. 2019. No. 5-3. Pp. 144–148. (In Rus.) EDN: YLPWAT.Костромин Н.С., Сивова А.Н. Применение методов машинного обучения для решения экологических задач // Modern Science. 2019. № 5-3. С. 144–148. EDN: YLPWAT.Nandi B.P., Singh G., Jain Tayal D.K. Evolution of neural network to deep learning in prediction of air, water pollution and its Indian context. Int. J. Environ. Sci. Technol. 2023. DOI: 10.1007/s13762-023-04911-y.Nandi B.P., Singh G., Jain Tayal D.K. Evolution of neural network to deep learning in prediction of air, water pollution and its Indian context // Int. J. Environ. Sci. Technol. 2023. DOI: 10.1007/s13762-023-04911-y.Panarin V.M., Maslova A.A., Savinkova S.A. Automated monitoring of atmospheric air pollution in industrially developed territories. Tula: Tula State University, 2021. 219 p. ISBN: 978-5-7679-4817-8. EDN: ZDKTXH.Панарин В.М., Маслова А.А., Савинкова С.А. Автоматизированный мониторинг загрязнения атмосферного воздуха промышленно развитых территорий. Тула: Тульский гос. ун-т, 2021. 219 с. ISBN: 978-5-7679-4817-8. EDN: ZDKTXH.Parkavi P., Rathi S. Deep learning model for air quality prediction based on big data. International Journal of Scientific Research in Computer Science, Engineering and Information Technology (IJSRCSEIT). 2021. Vol. 7. Issue 3. Pp. 170–175. ISSN: 2456-3307. DOI: 10.32628/CSEIT217332.Parkavi P., Rathi S. Deep learning model for air quality prediction based on big data // International Journal of Scientific Research in Computer Science, Engineering and Information Technology (IJSRCSEIT). 2021. Vol. 7. Issue 3. Pp. 170–175. ISSN: 2456-3307. DOI: 10.32628/CSEIT217332.Samad A., Garuda S., Vogt U., Yang B. Air pollution prediction using machine learning techniques – an approach to replace existing monitoring stations with virtual monitoring stations, atmospheric environment. International Journal of Computational Intelligence Studies. 2023. Issue 310. P. 119987. ISSN: 1352-2310. DOI: 10.1016/j.atmosenv.2023.119987.Samad A., Garuda S., Vogt U., Yang B. Air pollution prediction using machine learning techniques – an approach to replace existing monitoring stations with virtual monitoring stations, atmospheric environment // International Journal of Computational Intelligence Studies. 2023. Issue 310. P. 119987. ISSN: 1352-2310. DOI: 10.1016/j.atmosenv.2023.119987.Sossi Alaoui S., Aksasse B., Farhaoui Y. Air pollution prediction through internet of things technology and big data analytics. International Journal of Computational Intelligence Studies. 2020. No. 8. P. 177. DOI: 10.1504/IJCISTUDIES.2019.102525.Sossi Alaoui S., Aksasse B., Farhaoui Y. Air pollution prediction through internet of things technology and big data analytics // International Journal of Computational Intelligence Studies. 2020. No. 8. P. 177. DOI: 10.1504/IJCISTUDIES.2019.102525.Shih D.-H., To T.H., Nguyen L.S.P. et al. Design of a spark big data framework for PM2.5 air pollution forecasting. Int. J. Environ. Res. Public Health. 2021. Vol. 18. No. 7087. 15 p. DOI: 10.3390/ijerph18137087.Shih D.-H., To T.H., Nguyen L.S.P. et al. Design of a spark big data framework for PM2.5 air pollution forecasting // Int. J. Environ. Res. Public Health. 2021. Vol. 18. No. 7087. 15 p. DOI: 10.3390/ijerph18137087.