Siberian Aerospace JournalSiberian Aerospace JournalSiberian Aerospace JournalSiberian Aerospace JournalСибирский аэрокосмический журналSiberian Aerospace Journal2712-89702782-5760Reshetnev Siberian State University of Science and Technology67859710.31772/2712-8970-2025-26-1-48-59Section 1. Computer Science, Computer Engineering and ManagementРаздел 1. Информатика, вычислительная техника и управлениеResearch ArticleNonparametric method for testing the hypothesis of independence of random variables and its application in the analysis of remote sensing dataНепараметрическая методика проверки гипотезы о независимости случайных величин и ее применение при анализе данных дистанционного зондированияhttps://orcid.org/0009-0003-4255-4554SharuevaAnna V.ШаруеваАнна Владлимировна
Russian Federation

head of the remote sensing laboratory, assistant

заведующий лабораторией дистанционного зондирования, ассистент

anna-denisyuk@yandex.ruReshetnev Siberian State University of Science and TechnologyСибирский государственный университет науки и технологий имени академика М. Ф. Решетнева1503202526148591504202515042025Copyright ©; 2025, Sharueva A.V.Copyright ©; 2025, Шаруева А.В.2025Sharueva A.V.Шаруева А.В.https://creativecommons.org/licenses/by/4.0https://journals.eco-vector.com/2712-8970/article/view/678597

Testing the hypothesis of independence of random variables is one of the main stages of system analysis of statistical data. Based on its results, a synthesis of effective decision-making algorithms is carried out. The traditional method of testing the hypothesis of independence of random variables is based on the use of the Pearson criterion, which contains a difficult to formalize stage of dividing the range of values of random variables into multidimensional intervals. A method for testing the hypothesis of independence of random variables is proposed, which uses a nonparametric pattern recognition algorithm corresponding to the maximum likelihood criterion. Its application makes it possible to circumvent the problem of decomposing the range of values of random variables into intervals. The idea of the approach is to form a training sample based on the initial statistical data to solve a two-alternative pattern recognition problem. Each class is defined under the assumption of independence or dependence of random variables, which is manifested in the difference in their distribution laws in the classes. Under these conditions, it becomes possible to replace the initial hypothesis with the task of checking the reliability of the difference in the probabilities of pattern recognition errors in classes. Using the apparatus of graph theory, the proposed method is developed in the formation of sets of independent random variables. The obtained results are generalized when testing the hypothesis of independence of random variables for large volumes of statistical data based on compression of the original information. This allows to increase the computational efficiency of the problem being solved. The article substantiates a method for testing the hypothesis of independence of random variables, based on the use of a nonparametric pattern recognition algorithm in conditions of large volumes of statistical data. The results of comparing the technique with the generally recognized Pearson consensus criterion in the study of ambiguous dependencies between random variables of varying complexity are presented. The effectiveness of the proposed method is confirmed by the results of its application in processing remote sensing information from anthropogenic territories in the vicinity of the city of Krasnoyarsk.

Проверка гипотезы о независимости случайных величин является одним из основных этапов системного анализа статистических данных. На её результатах осуществляется синтез эффективных алгоритмов принятия решений. Традиционная методика проверки гипотезы о независимости случайных величин основана на использовании критерия Пирсона и содержит трудно формализуемый этап разбиения области значений случайных величин на многомерные интервалы. Предложена методика проверки гипотезы о независимости случайных величин, которая использует непараметрический алгоритм распознавания образов, соответствующий критерию максимального правдоподобия. Её применение позволяет обойти проблему декомпозиции области значений случайных величин на интервалы. Идея подхода состоит в формировании по исходным статистическим данным обучающей выборки для решения двухальтернативной задачи распознавания образов. Каждый класс определяется в предположении независимости либо зависимости случайных величин, что проявляется в различии их законов распределения в классах. В этих условиях появляется возможность замены исходной гипотезы на задачу проверки достоверности отличия вероятностей ошибок распознавания образов в классах. С использованием аппарата теории графов предлагаемая методика развита при формировании наборов независимых случайных величин. Полученные результаты обобщены при проверке гипотезы о независимости случайных величин для больших объёмов статистических данных на основе сжатия исходной информации. Это позволяет на порядки повысить вычислительную эффективность решаемой задачи. В статье обосновывается методика проверки гипотезы о независимости случайных величин, основанная на использовании непараметрического алгоритма распознавания образов в условиях больших объёмов статистических данных. Приводятся результаты сравнения методики с общепризнанным критерием согласия Пирсона при исследовании неоднозначных зависимостей между случайными величинами различной сложности. Эффективность предлагаемой методики подтверждается результатами применения при обработке информации дистанционного зондирования антропогенных территорий в окрестности города Красноярска.

testing the hypothesis of independence of random variableskernel probability density estimationregression probability density estimationpattern recognitionPearson criterionremote sensingпроверка гипотезы о независимости случайных величинядерная оценка плотности вероятностирегрессионная оценка плотности вероятностираспознавание образовкритерий Пирсонадистанционное зондированиеSinitsyna I. N. Akademik Pugachev Vladimir Semenovich: k stoletiyu so dnya rozhdeniya [Academician Vladimir Semenovich Pugachev: on the centenary of his birth]. Moscow, Torus Press Publ., 2011, 376 p.Академик Пугачёв Владимир Семёнович: к столетию со дня рождения / под ред. И. Н. Синицына. М. : Торус Пресс, 2011. 376 с.Sharueva A. V., Lapko A. V., Lapko V. A. Neparametricheskiye metody proverki gipotez o raspredeleniyakh sluchaynykh velichin pri analize dannykh distantsionnogo zondirovaniya [Nonparametric methods for testing hypotheses about distributions of random variables in the analysis of remote sensing data]. Novosibirsk, SO RAN Publ., 2024, 189 p.Шаруева А. В., Лапко А. В., Лапко В. А. Непараметрические методы проверки гипотез о распределениях случайных величин при анализе данных дистанционного зондирования. Новосибирск : СО РАН, 2024. 189 c.Lapko A. V., Lapko V. A. Testing the Hypothesis of the Independence of Two-Dimensional Random Variables Using a Nonparametric Algorithm for Pattern Recognition. Optoelectronics, Instrumentation and Data Processing. 2021, Vol. 57, No. 2, P. 149–155.Лапко А. В., Лапко В. А. Проверка гипотезы о независимости двумерных случайных величин с использованием непараметрического алгоритма распознавания образов // Автометрия. 2021. Т. 57, № 2. C. 41-48. DOI: 10.15372/AUT20210205.Lapko A. V., Lapko V. A., Bakhtina A. V. Study of the Method for Verification of the Hypothesis on Independence of Two-Dimensional Random Quantities Using a Nonparametric Classifier. Optoelectronics, Instrumentation and Data Processing. 2022, Vol. 57, No. 6, P. 639–648.Лапко А. В., Лапко В. А., Бахтина А. В. Исследование методики проверки гипотезы о независимости двухмерных случайных величин с использованием непараметрического классификатора // Автометрия. 2021. Т. 57, № 6. С. 90-100. DOI: 10.15372/AUT20210610.Parzen E. On estimation of a probability density function and mode. Annals of Mathematical Statistics. 1962, Vol. 33, Nо. 3, P. 1065-1076.Parzen E. On estimation of a probability density function and mode // Annals of Mathematical Statistics. 1962. Vol. 33, Nо. 3. P. 1065-1076. DOI: 10.1214/aoms/1177704472.Epanechnikov V. A. [Non-parametric estimation of a multivariate probability density]. Theory of Probability & Its Applications. 1969, Vol. 14, No. 1, P. 156–161 (In Russ.).Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятности и ее применения. 1969. Т. 14, №1. С. 156-161.Lapko A. V., Lapko V. A. Analysis of optimization methods for nonparametric estimation of the probability density with respect to the blur factor of kernel functions. Measurement Techniques. 2017, Vol. 60, No. 6, P. 515–522.Лапко А. В., Лапко В. А. Анализ методов оптимизации непараметрической оценки плотности вероятности по коэффициенту размытости ядерных функций // Измерительная техника. 2017. № 6. С. 3–8.Lapko A. V., Lapko V. A. Yadernye otsenki plotnosti veroyatnosti i ikh primenenie [Kernel probability density estimates and their applications]. Krasnoyarsk, SibGU im. M.F. Reshetnev Publ., 2021, 208 p.Лапко А. В., Лапко В. А. Ядерные оценки плотности вероятности и их применение. Красноярск : СибГУ им. М. Ф. Решетнёва, 2021. 308 с.Rudemo M. Empirical choice of histogram and kernel density estimators. Scandinavian Journal of Statistics. 1982, No. 9, P. 65–78.Rudemo M. Empirical choice of histogram and kernel density estimators // Scandinavian Journal of Statistics. 1982. No. 9. P. 65–78.Bowman A. W. A comparative study of some kernel-based non-parametric density estimators. Journal of Statistical Computation and Simulation. 1982, Vol. 21, P. 313–327.Bowman A. W. A comparative study of some kernel-based non-parametric density estimators // Journal of Statistical Computation and Simulation. 1982. Vol. 21. P. 313–327.Hall P. Large-sample optimality of least squares cross-validation in density estimation. Annals of Statistics. 1983, Vol. 11, P. 1156–1174.Hall P. Large-sample optimality of least squares cross-validation in density estimation // Annals of Statistics. 1983. Vol. 11. P. 1156–1174.Sharakshane, A. S., Zheleznov I. G., Ivnitskii V. A. Slozhnye sistemy [Complex systems]. Moscow, Vysshaya Shkola Publ., 1977, 248 p.Шаракшанэ А. С., Железнов И. Г., Ивницкий В. А. Сложные системы. М. : Высш. шк., 1977. 248 с.Lapko A. V., Lapko V. A., Bakhtina A. V. Formation of Sets of Independent Components of a Multidimensional Random Variable Based on a Nonparametric Pattern Recognition Algorithm. Measurement Techniques. 2021, Vol. 64, No. 9, P. 689–696.Лапко А. В., Лапко В. А., Бахтина А. В. Формирование наборов независимых компонент многомерной случайной величины на основе непараметрического алгоритма распознавания образов // Измерительная техника. 2021. № 9. С. 3–9. DOI: 10.32446/0368-1025it.2021-9-3-9.Zenkov I. V., Lapko A. V., Lapko V. A., Kiryushina E. V., Vokin V. N. Nonparametric pattern recognition algorithm for testing a hypothesis of the independence of random variables. Computer Optics. 2021, Vol. 45, No 5, P. 767–772.Непараметрический алгоритм распознавания образов в задаче проверки гипотезы о независимости случайных величин / И. В. Зеньков, А. В. Лапко, В. А. Лапко и др. // Компьютерная оптика. 2021. Т. 45, № 5. С. 767-772. DOI: 10.18287/2412-6179-CO-871.Zenkov I. V., Lapko A. V., Lapko V. A., Kiryushina E. V., Vokin V. N., Bakhtina A. V. A method of sequentially generating a set of components of a multidimensional random variable using a nonparametric pattern recognition algorithm. Computer Optics. 2021, Vol. 45, No. 6, P. 926–933.Методика последовательного формирования набора компонент многомерной случайной величины с использованием непараметрического алгоритма распознавания образов / И. В. Зеньков, А. В. Лапко, В. А. Лапко и др. // Компьютерная оптика. 2021. Т. 45. № 6. С. 926-933. DOI: 10.18287/2412-6179-CO-902.Lapko A. V., Lapko V. A., Sharueva A. V. Neparametricheskii algoritm raspoznavaniya obrazov v zadache formirovaniya naborov nezavisimykh sluchainykh velichin [A nonparametric pattern recognition algorithm in the problem of forming sets of independent random variables]. Informatika i sistemy upravleniya. 2024, Vol. 79, No. 1, P. 81–90 (In Russ.).Лапко А. В., Лапко В. А., Шаруева А. В. Непараметрический алгоритм распознавания образов в задаче формирования наборов независимых случайных величин // Информатика и системы управления. 2024. Т. 79, №1. С. 81–90. DOI: 10.22250/18142400_2024_79_1_81.Lapko A. V., Lapko V. A. Regressionnaya otsenka plotnosti veroyatnosti i ee svoistva [Regression estimation of probability density and its properties]. Sistemy upravleniya i informatsionnye tekhnologii. 2012, No. 3-1 (49), P. 152-156 (In Russ.).Лапко А. В., Лапко В. А. Регрессионная оценка плотности вероятности и её свойства // Системы управления и информационные технологии. 2012. № 3-1 (49). С. 152-156.Lapko A. V., Lapko V. A. Regression estimate of the multidimensional probability density and its properties. Optoelectronics, Instrumentation and Data Processing. 2014, Vol. 50, No. 2, P. 148-153.Лапко А. В., Лапко В. А. Регрессионная оценка многомерной плотности вероятности и её свойства // Автометрия. 2014. Т. 50, № 2. С. 50-56.Lapko A. V., Lapko V. A., Bakhtina A. V. Application of a nonparametric pattern recognition algorithm to the problem of testing the hypothesis of the independence of variables of multi-valued functions. Measurement Techniques. 2022, Vol. 65, No. 1, P. 17–23.Лапко А. В., Лапко В. А., Бахтина А. В. Применение непараметрического алгоритма распознавания образов в задаче проверки гипотезы о независимости переменных неоднозначных функций // Измерительная техника. 2022. № 1. С. 17–22. DOI: 10.32446/0368-1025it.2022-01-17-22.Lapko A. V., Lapko V. A., Bakhtina A. V. Comparison of the Methodology for Hypothesis Testing of the Independence of Two-Dimensional Random Variables Based on a Nonparametric Classifier. Scientific and Technical Information Processing. 2023, Vol. 50, No. 6, P. 572–581.Лапко А. В., Лапко В. А., Бахтина А. В. Сравнение методики проверки гипотезы о независимости двухмерных случайных величин, основанной на непараметрическом классификаторе // Искусственный интеллект и принятие решений. 2022. № 1. С. 45–56. DOI: 10.14357/20718594220105.Lapko A. V., Lapko V. A., Bakhtina A. V. Comparison of Methods for Testing the Hypothesis of Independence of Random Variables Based on a Nonparametric Classifier and Pearson's Chi-Squared Test. Optoelectronics, Instrumentation and Data Processing, 2023, Vol. 59, No. 5, P. 551–560.Лапко А. В., Лапко В. А., Бахтина А. В. Сравнение методик проверки гипотезы о независимости случайных величин, основанных на непараметрическом классификаторе и критерии Пирсона // Автометрия. 2023. Т. 59, № 5. С. 36-46.Lapko A. V., Lapko V. A. Selection of the Optimal Number of Intervals Sampling the Region of Values of a Two-Dimensional Random Variable. Measurement Techniques. 2016, Vol. 59, No. 2, P. 122–126.Лапко А. В., Лапко В. А. Выбор оптимального количества интервалов дискретизации области значений двухмерной случайной величины // Измерительная техника. 2016. № 2. С. 14–17.Lapko A. V., Lapko V. A. Discretization method for the range of values of a multi-dimensional random variable. Measurement Techniques. 2019, Vol. 62, No. 1, P. 16–22.Лапко А. В., Лапко В. А. Метод дискретизации области значений многомерной случайной величины // Измерительная техника. 2019. № 1. С. 16–20. DOI: 10.32446/0368-1025it.2019-1-16-20.Lapko A. V., Lapko V. A. Estimation of parameters of the formula for optimal discretization of the range of values of a two-dimensional random variable. Measurement Techniques. 2018, Vol. 61, No. 5, P. 427–433.Лапко А. В., Лапко В. А. Оценивание параметров формулы оптимальной дискретизации области значений двумерной случайной величины // Измерительная техника. 2018. № 5. С. 9–13.Sturges H. A. The choice of a class interval. Journal of the American Statistical Association, 1926, Vol. 21, P. 65-66.Sturges H. A. The choice of a class interval // Journal of the American Statistical Association. 1926. Vol. 21, No. 153. P. 65–66.Heinhold I., Gaede K. W. Ingeniur statistic. München, Springler Verlag, 1964, 352 p.Heinhold I., Gaede K. Ingeniur statistic. München: Springler Verlag, 1964. 352 p.Scott D. W. Multivariate Density Estimation: Theory, Practice, and Visualization. New Jersey, John Wiley & Sons, 2015, 384 p.Scott D.W. Multivariate Density Estimation: Theory, Practice, and Visualization. New Jersey: John Wiley & Sons, 2015. 384 p.Lapko A. V., Lapko V. A., Bakhtina A. V. Application of a nonparametric procedure for testing the hypothesis about the independence of random variables given a large amount of statistical data. Measurement Techniques, 2024, Vol. 66, P. 744–754.Лапко А. В., Лапко В. А., Бахтина А. В. Применение непараметрической методики проверки гипотезы о независимости случайных величин в условиях большого объёма статистических данных // Измерительная техника. 2023. № 10. С. 17–24. DOI: 10.32446/0368-1025it.2023-10-17-24.