SOME GENERALIZATIONS OF METHOD OF MOMENTS IN PROBABILITY DENSITY ESTIMATION BY ORTHOGONAL SERIES

Толық мәтін

Введение. Задача оценивания неизвестной функции плотности вероятности уже долгое время является важной научно-технической задачей [1]. От качества получаемых оценок плотности вероятности зависит качество основанных на ней алгоритмов классификации, распознавания образов, восстановления зависимостей и др. Кроме того, различные подходы к оцениванию плотности вероятности применяются при решении задач диагностики, часто встречающихся в аэрокосмической технике. Классический подход к оцениванию состоит в том, что подбирается модельный закон, который наилучшим образом описывает данную выборочную совокупность [2]. Однако в этом случае качество оценок существенно ухудшается при сложной структуре закона распределения случайной величины, например, если функция плотности многоэкстремальна, разрывна и т. п. При отсутствии априорной информации о виде закона распределения используются непараметрические оценки функции плотности вероятности. Наиболее распространены ядерные оценки, основанные на работах Розенблатта [3] и Парзена [4], а также оценки в виде ряда ортонормированных функций, называемые проекционными оценками [5]. В последнем случае предполагается, что истинная плотность f(x) принадлежит функциональному гильбертову пространству L2 [6]. Предположим сверх этого, что значения исследуемой случайной величины ξ с вероятностью 1 заключены в некотором отрезке. Не умаляя общности, будем считать, что . Проекционная оценка плотности вероятности имеет вид (1) где - полная система ортонормированных функций пространства L2; aj - коэффициенты, оцениваемые по выборке случайной величины ξ; N - параметр, характеризующий длину ряда ортонормированных функций, также подлежащий настройке. Как показывают численные расчёты, как коэффициенты aj, так и параметр N существенно влияют на качество оценки (1). Так как оптимальными коэффициентами для оценки (1) являются коэффициенты Фурье , , (2) то часто оценки aj коэффициентов строятся в виде выборочных средних значений функций φj(x): , , (3) где x1, …, xn - независимая выборка случайной величины ξ [7]. В [8] показано, что при использовании оценок (3) существует конечное оптимальное значение параметра N. Кроме рассмотренного подхода к построению оценок aj возможно применение метода моментов [9]. В настоящей работе используются начальные моменты случайной величины ξ. Так, приравняем оценки начальных моментов, рассчитанные по выборке, к их теоретическим значениям, рассчитанным с использованием оценки в качестве функции плотности вероятности: Подставляя вместо оценки её выражение (1), получим систему из (N + 1) линейных уравнений с (N + 1) неизвестными: (4) где - скалярное произведение в пространстве L2. Введя матричные обозначения , , , систему (4) можно переписать в виде . (4а) Эта система имеет единственное решение, если матрица B не вырождена [10]. В работе теоретически показано, что если используется система многочленов Лежандра, ортонормированная на отрезке [-1; 1], то матрица B не вырождена при любых конечных N ≥ 0. Численно проверено, что для системы Чебышёва [11] и тригонометрической системы [12] матрица B не вырождена по крайней мере при N ≤ 40. Тогда решение системы (4а) может быть записано в виде . (5) Данное решение, полученное методом моментов, может быть использовано для построения оценки функции плотности вероятности в виде выражения (1). Обобщение метода моментов. Данный подход допускает следующее обобщение. Возьмём произвольное целое и рассчитаем матрицу размерности . Обратную к ней матрицу обозначим через . Выделив в ней подматрицу , содержащую первые (N + 1) её строк, и умножив её на вектор из (N′ + 1) первых начальных выборочных моментов , получим вектор , (6) значения которого наряду со значениями (3) и (5) могут использоваться в качестве оценок коэффициентов для (1). Более того, справедлива следующая теорема. Теорема. Пусть система удовлетворяет следующему условию: при , (7) где - матричная норма, индуцированная векторной l∞-нормой [13]. Тогда при неограниченном увеличении и фиксированном N оценка (6) сходится по вероятности к оценке (3): , где . (8) Доказательство. Докажем более сильное утверждение: , (9) где . Для этого заметим, что . В свою очередь, ; . Тогда . (10) Возьмём теперь произвольное ε > 0. В силу условия (7) с возрастанием выражение может быть сделано меньшим ε, лишь только все . Однако для любой непрерывной случайной величины, распределённой на отрезке , включение всех выполнено с вероятностью 1. Таким образом, или Теперь, переходя к пределу в неравенстве (10), получим формулу (9). Неравенство означает, что каждая компонента вектора больше ε. Отсюда следует, в частности, выполнение этого неравенства для первых компонент. Таким образом, Теорема доказана. Из доказанного следует, что при условии (7) рассматриваемое обобщение метода моментов включает метод (3) как частный случай при . Поэтому для оценок (3) вводится обозначение . С другой стороны, очевидно, что при метод совпадает с обычным методом моментов. Для оценок функции плотности вероятности с коэффициентами (6) и (3) вводятся, соответственно, обозначения и . Можно показать, что для систем Лежандра, Чебышёва и тригонометрической системы выполняется условие (7). Причём для системы Лежандра выражение под пределом в (7) равно 0 при любом N ≥ 0. Действительно, для системы Лежандра имеем при , ; Поэтому при использовании системы Лежандра оценки, полученные по обобщённому методу моментов при любом , совпадают с оценками (3). Далее в статье предполагается, что система ортонормированных функций выбрана таким образом, что условие (7) выполнено. Свойства оценок. Найдём математические ожидания оценок (6): . Так как , то получаем окончательно . При получаем, что оценка является несмещённой: При конечных N′ оценка (6), в общем случае, смещена. Рассчитаем ковариационную матрицу оценок: где - ковариационная матрица степеней случайной величины ξ: . Переходя к пределу при N′ → ∞, получим ковариационную матрицу оценок (6): где - ковариационная матрица функций от случайной величины ξ: . Отсюда видно, что при неограниченном увеличении объёма выборки n дисперсии оценок стремятся к 0. Тогда из теоремы Чебышёва [9] оценки являются состоятельными. Применение оценок. Несмотря на отсутствие при конечных N′ для оценок таких свойств, как несмещённость и состоятельность, в некоторых случаях, особенно на малых выборках, оценка плотности вероятности всё же оказывается лучше, чем оценка . Близость оценки к истинной плотности характеризуется усреднённым квадратичным критерием [14]: . После преобразований получаем следующее выражение [8]: (11) где - оценка плотности вероятности с оптимальными коэффициентами: . (12) Выражение (11) позволяет значительно ускорить процесс вычисления значения критерия Q для данной ортонормированной системы {φi} и данной плотности вероятности f(x). Обобщённый метод моментов был применён при восстановлении различных законов распределения вероятностей. Графики зависимости разности между значением критерия (11) для оценки и оценки при оптимальном N′ представлены на рис. 1 и 2. Рассматривалась задача восстановления равномерного закона распределения на отрезке [0; 0, 5]. Результаты получены при малом объёме выборки n = 20. Из графиков видно, что на малых объёмах выборки обобщённый метод моментов при оптимально настроенных конечных N′ в широком диапазоне значений N даёт существенное улучшение качества оценки функции плотности вероятности. Рис 1. Сравнение качества аппроксимации при восстановлении плотности вероятности методами (3) и (6) с использованием ортонормированной системы Чебышёва Рис 2. Сравнение качества аппроксимации при восстановлении плотности вероятности методами (3) и (6) с использованием ортонормированной тригонометрической системы Заключение. В ходе исследования было разработано обобщение метода моментов для оценивания коэффициентов проекционной оценки (1) функции плотности вероятности, для которого методы оценивания (3) и (5) являются частными случаями. В некоторых случаях, особенно при малых объёмах выборки исследуемой случайной величины, удалось добиться улучшения оценки плотности вероятности по сравнению с наиболее часто используемым методом (3), несмотря на отсутствие у оценок коэффициентов таких свойств, как несмещённость и состоятельность. Здесь уместно замечание известного советского математика В. Н. Вапника: «Ниоткуда не следует, что в классе несмещённых оценок плотности имеются достаточно хорошие оценки. Ведь, как уже отмечалось, само свойство несмещенности оценки не имеет никакой самостоятельной ценности и вводится исключительно в целях ограничения класса оценок» [15].

Авторлар туралы

V. Branishti

Reshetnev Siberian State Aerospace University

Email: branishti-v-v@yandex.ru
31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation

Әдебиет тізімі

Қосымша файлдар