Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70228910.17587/it.31.191-198Modeling and optimizationМоделирование и оптимизацияResearch ArticleRemoval of outliers in geomagnetic field time series using the Hampel filterУдаление выбросов во временных рядах геомагнитного поля на основе фильтра ХампеляImashevS. A.ИмашевС. А.
Kyrgyzstan

Ph.D., Leading Researcher

канд. физ.-мат. наук, вед. науч. сотр.

sanzhar.imashev@gmail.comLazarevaE. A.ЛазареваЕ. А.
Kyrgyzstan

Junior Researcher

мл. науч. сотр.

ekaterina.lazareva88@gmail.comResearch Station of the Russian Academy of Sciences in BishkekНаучная станция Российской академии наук в г. Бишкеке150420253141911980702202607022026Copyright ©; 2025, Informacionnye TehnologiiCopyright ©; 2025, Информационные технологии2025Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702289

The paper presents a methodology for removing outliers in geomagnetic field time series using the Hampel filter. Quality metrics for binary data classification based on the confusion matrix demonstrated the effectiveness of the method and are comparable to those for similar algorithms used for outlier removal in 1-second magnetograms of the international INTERMAGNET network. Outliers identified using the developed methodology for the period 2019-2022 at the Ak-Suu base station exhibit a seasonal distribution pattern that correlates well with thunderstorm activity. The method enhances the quality of preliminary data processing for the geomagnetic monitoring network of the Research Station of the Russian Academy of Sciences, specifically by automating the procedure of magnetograms outliers filtering.

Обсуждается методика удаления выбросов во временных рядах геомагнитного поля с помощью фильтра Хампеля. Метрики качества бинарной классификации данных на основе матрицы ошибок показали эффективность метода и сопоставимы с показателями для аналогичных алгоритмов, применяемых для удаления выбросов в секундных магнитограммах международной сети INTERMAGNET. Выделенные с помощью разработанной методики выбросы за период 2019—2022 гг. по базовой станции Ак-Суу имеют сезонную закономерность распределения, которая хорошо коррелирует с грозовой деятельностью. Метод позволяет повысить качество предварительной обработки данных сети геомагнитного мониторинга Научной станции РАН в части автоматизации процедуры фильтрации выбросов в магнитограммах.

geomagnetic fieldtime seriesoutliersHampel filterconfusion matrixrecurrenceгеомагнитное полевариационные рядывыбросыфильтр Хампеляматрица ошибокповторяемостьПравительство Российской ФедерацииGovernment of the Russian Federation1021052806454-2-1.5.1This work was supported by the Federal State Budgetary Institution of Science Research Station Russian Academy of Sciences in Bishkek, project no. 1021052806454-2-1.5.1.Результаты, представленные в данной работе, получены в рамках выполнения государственного задания Федерального государственного бюджетного учреждения науки Научной станции Российской академии наук в г. Бишкеке (Рег. номер 1021052806454-2-1.5.1).Mukhamadeeva V. А. Vorontsova E. V., Lazareva E. A. Experience of geomagnetic observations at the Geodynamic Test Ground in Bishkek, Herald of KRSU, 2015, vol. 15, no. 3, pp. 130—133 (in Russian).Мухамадеева В. А., Воронцова Е. В., Лазарева Е. А. Опыт проведения геомагнитных наблюдений на Бишкекском Геодинамическом Полигоне // Вестник Кыргызско-Российского Славянского университета. 2015. Т. 15, № 3. С. 130—133.Bogoutdinov Sh.R., Gvishiani A. D., Agayan S. M., Solovyev A. A., Kin E. Recognition of disturbances with specified morphology in time series. Part 1: Spikes on magnetograms of the worldwide INTERMAGNET network, Izvestiya, Physics of the Solid Earth, 2010, vol. 46, no. 11, pp. 1004—1016.Богоутдинов Ш. Р., Гвишиани А. Д., Агаян С. М., Соловьев А. А., Кин Э. Распознавание возмущений с заданной морфологией на временных рядах. I. Выбросы на магнитограммах всемирной сети ИНТЕР-МАГНЕТ // Физика Земли. 2010. № 11. С. 99—112.Solovyev A. A., Agayan S. M., Gvishiani A. D., Bogoutdinov Sh. R., Chulliat A. Recognition of disturbances with specified morphology in time series: Part 2. Spikes on 1-s magnetograms, Izvestiya, Physics of the Solid Earth, 2012, vol. 48, no. 5, pp. 395—409.Соловьев А. А., Агаян С. М., Гвишиани А. Д., Богоутдинов Ш. Р., Шулья А. Распознавание возмущений с заданной морфологией на временных рядах. II. Выбросы на секундных магнитограммах // Физика Земли. 2012. № 5. С. 37—52.Imashev S. Extended isolation forest application to outlier detection in geomagnetic data, IOP Conference Series: Earth and Environmental Science, 2021, vol. 929, no. 012022, pp. 1—6.Imashev S. Extended isolation forest — application to outlier detection in geomagnetic data // IOP Conference Series: Earth and Environmental Science. 2021. Vol. 929, N. 012022. P. 1—6.Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey, ACM Comput. Surv, 2009, vol. 41, no. 3, pp. 1—58, doi: 10.1145/1541880.1541882.Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM Comput. Surv. 2009. Vol. 41, N. 3.Hampel F. R. The influence curve and its role in robust estimation, Journal of the American Statistical Association, 1974, vol. 69, pp. 382—393.Hampel F. R. The influence curve and its role in robust estimation // Journal of the American Statistical Association. 1974. Vol. 69. P. 382—393.Liu H., Sirish S., Wei J. On-line outlier detection and data cleaning, Computers and Chemical Engineering, 2004, vol. 28, pp. 1635—1647, doi: 10.1016/j.compchemeng.2004.01.009.Liu H., Sirish S., Wei J. On-line outlier detection and data cleaning // Computers and Chemical Engineering. 2004. Vol. 28. P. 1635—1647. DOI: 10.1016/j.compchemeng.2004.01.009Pearson R. K. Outliers in process modeling and identification, IEEE Transactions on Control Systems Technology, 2002, vol. 10, no. 1, pp. 55—63, doi: 10.1109/87.974338.Pearson R. K. Outliers in process modeling and identification // IEEE Transactions on Control Systems Technology. 2002. Vol. 10, N. 1. P. 55—63. DOI:10.1109/87.974338.Leys C., Ley C., Klein O., Bernard P., Licata L. Detecting outliers: Do not use standard deviation around the mean, use absolute deviation around the median, Journal of Experimental Social Psychology, 2013, vol. 49, iss. 4, pp. 764—766, doi: 10.1016/j.jesp.2013.03.013.Leys C., Ley C., Klein O., Bernard P., Licata L. Detecting outliers: Do not use standard deviation around the mean, use absolute deviation around the median // Journal of Experimental Social Psychology. 2013. Vol. 49, Iss. 4. P. 764—766. DOI: 10.1016/j.jesp.2013.03.013.Imashev S. A., Lazareva E. A. Spatial distribution of the main geomagnetic field components based on IGRF—13 model for Kyrgyzstan territory, Herald of KRSU, 2022, vol. 22, no 4, pp. 192—198 (in Russian).Имашев С. А., Лазарева Е. А. Пространственное распределение составляющих главного геомагнитного поля на основе модели IGRF-13 для территории Кыргызстана // Вестник КРСУ, 2022. Т. 22. № 4. С. 192—198. DOI: 10.36979/1694-500X-2022-22-4-192-198.Imashev S. A., Lazareva E. A. Program for outlier removal in geomagnetic field variation time series using the Hampel filter: MagHam- pelOutlierCut, Federal Service for Intellectual Property (Rospatent). Certificate of Registration of Computer Program no. 2022684573, 15.12.2022, available at: https://www.elibrary.ru/item.asp?id=49979520.Имашев С. А., Лазарева Е. А. Программа удаления выбросов во временных рядах вариаций величины геомагнитного поля на основе фильтра Хампеля MagHampelOutlierCut // Федеральная служба по интеллектуальной собственности (Роспатент). Свидетельство о регистрации программы для ЭВМ 2022684573, 15.12.2022. https://www.elibrary.ru/item.asp?id=49979520.Podrezova Yu. A. The annual course of the recurrence of thunderstorms in Kyrgyzstan, Herald of KRSU, 2010, vol. 10, no. 4, pp. 150—153.Подрезова Ю. А. Годовой ход повторяемости гроз в Кыргызстане // Вестник Кыргызско-Российского Славянского университета. 2010. Т. 10. № 4. С. 150—153.Campbell W. H. Introduction to Geomagnetic Fields, Cambridge University Press, 2003, 337 p.Campbell W. H. Introduction to Geomagnetic Fields. Cambridge University Press, 2003. 337 p.