INTRODUCING THE L2,w SPACE FOR BUILDING THE PROJECTIVE ESTIMATION OF PROBABILITY DENSITY FUNCTION

Texto integral

Введение. Для решения задач классификации, распознавания, диагностики технических систем и др., возникающих в том числе в аэрокосмической отрасли, большое значение имеет качество восстановления неизвестной функции плотности вероятности непрерывных случайных величин. Зачастую закон распределения исследуемых случайных величин имеет сложную структуру: плотность вероятности разрывна, многоэкстремальна и т. д. В таких условиях часто применяются непараметрические методы оценивания функции плотности вероятности, основанные на оценках М. Розенблатта и Э. Парзена [1-3]. Также большое распространение получила проекционная оценка, предложенная Н. Н. Ченцовым [4]. Предполагается, что оцениваемая функция плотности вероятности f(x) принадлежит гильбертову пространству L2 функций, интегрируемых по Лебегу с квадратом на всей числовой прямой [5]. В этом случае функция f(x) представима в виде (1) где {jk} - полная ортонормальная система функций (базис) пространства L2; коэффициенты ak находятся по формуле: . Проекционная оценка fN(x) функции f(x) представляет собой N-ю частичную сумму ряда (1): . (2) Если восстанавливаемая функция f Î L2, то при неограниченном увеличении N оценка (2) сходится к истинной плотности f(x) в среднем квадратичном: . В [6] указано, что если, кроме того, функция f(x) является непрерывной и имеет ограниченное изменение, то оценка (2) сходится равномерно. Там же рассматривается оценка (2), в которой в качестве функций jk(x) взяты многочлены Эрмита. Работа [6] была выполнена при поддержке агентства NASA. В работах [7; 8] рассмотрены некоторые обобщения оценки (2), имеющие вид , где весовые коэффициенты lj выбираются из дополнительных соображений. Однако требование f Î L2 не выполняется уже для некоторых модельных законов распределения. Например, распределение c2 с числом степеней свободы 1 (т. е. распределение случайной величины, представляющей собой квадрат нормально распределённой случайной величины с параметрами m = 0 и σ = 1) имеет плотность вероятности [9] (3) При этом т. е. f Ï L2, следовательно, проекционная оценка плотности вероятности не сходится к f(x) в метрике пространства L2. В работе предлагается построение сепарабельных гильбертовых пространств, являющихся расширениями пространства L2, в которых имеется возможность строить проекционные оценки функций плотности вероятности, не входящих в L2. Определение и основные свойства пространства L2,w. Пусть w(x) - положительная измеримая функция. Определим пространство L2,w как множество действительных функций, для которых . (4) Для любых двух функций f, g Î L2,w определено число . (5) Действительно, для действительных функций f(x) и g(x) выполняется неравенство Поэтому из (4) следует, что интеграл в (5) принимает конечное значение. Очевидно, двухместный функционал (5) удовлетворяет аксиомам скалярного произведения. Причём условие (4) означает конечность нормы функции f, индуцированной этим скалярным произведением. Следовательно, пространство L2,w является гильбертовым. При w(x) º 1 пространство L2,w совпадает с пространством L2. Подбирая различные функции w(x), получим различные пространства L2,w, причём справедливо следующее утверждение. Утверждение 1. Если w1(x) £ w2(x), то . В частности, при w(x) £ 1 пространство L2,w включает в себя пространство L2. Доказательство. Утверждение следует из того, что если для функции f(x) выполнено условие то Утверждение 2. Если для функций w1(x) и w2(x) существуют такие константы m и M, что то пространства равны . Доказательство. Из условия теоремы следует, что Тогда (6) (7) Из (6) следует включение , из (7) - включение . Утверждение доказано. Из утверждения 2 следует, что для фактического расширения пространства (т. е. для ) необходимо, чтобы или, что то же самое, Заметим далее, что при таком расширении сохраняется различимость элементов, как показывает следующее утверждение. Утверждение 3. Пусть w1(x) и w2(x) - две измеримые положительные функции, f - функция, принадлежащая обоим пространствам и Тогда Доказательство. Пусть, напротив, при некоторых w1(x) и w2(x) существует такая функция для которой (8) но Тогда Так как подынтегральная функция неотрицательна, то отсюда следует, что она равна 0 почти всюду. Но w2(x) всюду положительна, поэтому почти всюду равна 0 функция f 2(x), из чего следует, что Получаем противоречие с (8), что доказывает утверждение. Из утверждения 3 следует, в частности, что если две функции f(x) и g(x) принадлежат обоим пространствам и то они в этих пространствах одновременно различаются или нет: Оказывается, для любой функции плотности вероятности f(x) можно построить такое расширение L2,w пространства L2, которое будет содержать функцию f(x). Утверждение 4. Пусть f(x) - функция плотности вероятности некоторой непрерывной случайной величины. Тогда существует такая положительная измеримая функция w(x), что выполняется включение . Доказательство. Как функция плотности вероятности, f(x) интегрируема на всей числовой прямой, причём Тогда существует (конечный или бесконечный) интеграл При этом если I < +∞, то f Î L2,w при w(x) º 1. Если I = +∞, то функцию w(x) можно построить следующим образом: (9) В силу измеримости функции f(x) множества и измеримы, поэтому измерима и построенная функция w(x). Кроме того, Таким образом, получаем, что поэтому f Î L2,w. Утверждение доказано. Построение функции плотности вероятности, не принадлежащей данному пространству L2,w. Как показывает утверждение 4, для любой функции плотности вероятности f(x) можно построить содержащее её гильбертово пространство L2,w. Выбирая всё меньшие функции w(x), можно получать всё более широкие пространства L2,w. Однако не существует пространства L2,w, которое содержало бы всё множество функций плотности вероятности любых непрерывных случайных величин. Действительно, справедливо следующее утверждение. Утверждение 5. Пусть w(x) - положительная измеримая функция. Тогда существует непрерывная случайная величина, у которой функция плотности вероятности f(x) такова, что Доказательство. Пусть w(x) удовлетворяет условию утверждения. Тогда существует такое e > 0, что множество имеет положительную меру. Определим на этом множестве функцию j(x), обладающую свойствами: Заметим, что множество A может иметь весьма сложную структуру, в том числе быть нигде неплотным [10]. Так как система измеримых множеств пространства действительных чисел R является σ-алгеброй, то любое множество положительной меры из этой системы можно представить в виде объединения счётного множества попарно непересекающихся его подмножеств положительной меры. В частности, для множества A имеем при . Ряд, составленный из мер множеств A, очевидно, сходится, причём (10) Обозначим через γn остаток ряда (10) после n-го члена: Так как ряд (10) положительный, то согласно результату У. Дини [11, c. 319] ряд сходится, в то время как ряд расходится. Используя это свойство, для каждого множества An построим функцию и определим функцию j(x) следующим образом: При этом . Функцию f(x) будем искать в виде где коэффициент k определим из условия нормировки: Заметим, что интеграл в последнем выражении сходится, так как Тогда получаем Таким образом, функция f(x) является функцией плотности вероятности некоторой случайной величины. При этом Утверждение доказано. Сепарабельность пространства L2,w. Как показывает утверждение 5, не существует некоего универсального гильбертова пространства, пригодного для оценивания любой мыслимой функции плотности вероятности. Кроме того, при рассмотрении пространства L2,w очень важным является установление его сепарабельности, так как в этом случае у этого пространства гарантировано существование счётного базиса и возможность представления любого элемента пространства в виде (1). Таким образом, если функция плотности вероятности принадлежит сепарабельному пространству L2,w, то её проекционная оценка сходится к ней. Рассмотрим следующую теорему. Теорема. Пусть Тогда пространство плотно в пространстве Для доказательства этой теоремы сформулируем следующую лемму. Лемма. Пусть h(x) - измеримая функция, ортогональная пространству L2: Тогда h(x) равна 0 почти всюду. Доказательство. Пусть, напротив, h(x) ортогональна пространству L2 и отлична от 0 на некотором множестве A положительной меры: Разобьём множество A на два подмножества . Очевидно, что мера хотя бы одного из них положительна. Тогда из A1 или A2 можно выделить ограниченное подмножество положительной меры. Обозначим это подмножество через B. Очевидно, на множестве B функция h(x) сохраняет знак. Определим функцию f(x) следующим образом: . Функция f(x) принадлежит пространству L2, и, кроме того, Получаем противоречие с ортогональностью функции h(x) пространству L2. Лемма доказана. Доказательство теоремы. Пусть, напротив, L2 не является плотным в L2,w. Известно, что для того, чтобы линейное многообразие M было плотным в гильбертовом пространстве H, необходимо и достаточно, чтобы в H не существовало ненулевого элемента, ортогонального всем элементам из M [12]. Отсюда следует, что в L2,w существует ненулевой элемент g, ортогональный пространству L2: Из доказанной леммы применительно к h(x) = = g(x)w(x) следует, что функция g(x)w(x) равна 0 почти всюду. Так как w(x) > 0, то почти всюду равна 0 функция g(x), что противоречит тому, что g - ненулевой элемент пространства L2,w. Теорема доказана. Из доказанной теоремы следует, что пространство L2 плотно в любом содержащем его пространстве L2,w. Тогда из сепарабельности L2 следует сепарабельность любого такого L2,w. В совокупности с утверждением 4 получаем, что для любой функции плотности вероятности можно построить проекционную оценку, сходящуюся в некотором пространстве L2,w. Результаты численных экспериментов. Построим проекционную оценку плотности вероятности некоторых случайных величин, не принадлежащих пространству L2. Для этого с помощью формулы (9) построим весовую функцию w(x) и для соответствующего пространства L2,w построим ортонормированный базис методом ортогонализации Грамма-Шмидта [13]. Коэффициенты ak в выражении (2) оценим по формуле [14] (11) Длину ряда N получим минимизацией значения (12) где которое является (с точностью до постоянного слагаемого) несмещённой оценкой функционала качества оценки плотности вероятности [15]. Пример 1. Для функции (3) плотности вероятности случайной величины, подчинённой закону распределения c2, функция w(x) имеет вид Оценку будем строить на луче [0; +¥), для чего в качестве системы линейно независимых функций возьмём последовательность После применения процесса Грамма-Шмидта был построен базис, несколько первых элементов которого имеют вид Оценка плотности вероятности строилась по независимой выборке случайной величины объёма n = 300. Оценки ak коэффициентов, а также их оптимальные значения занесены в табл. 1. В табл. 2 приведены значения . Из табл. 2 видно, что минимальное значение достигается при N = 15. График соответствующей оценки приведён на рис. 1. Качество оценивания при этом составляет Пример 2. Рассмотрим непрерывную случайную величину, заданную следующей плотностью вероятности: (13) Квадрат этой функции не суммируем в окрестности двух точек x = 0 и x = 1, следовательно, f Ï L2. Построим содержащее эту функцию пространство L2,w. Для этого введём весовую функцию Построим проекционную оценку функции плотности вероятности в интервале (0; 2). Для построения базиса возьмём линейно независимую систему и по независимой выборке этой случайной величины объёма n = 300 построим проекционную оценку плотности вероятности. Результат численного эксперимента приведён на рис. 2. Таблица 1 Оценки (11) коэффициентов и их оптимальные значения при восстановлении плотности вероятности (3) k 0 1 2 3 4 5 6 7 8 9 ak 0,633 -0,135 0,166 -0,117 0,104 -0,097 0,085 -0,066 0,051 -0,038 ak 0,636 -0,133 0,148 -0,1 0,088 -0,075 0,067 -0,061 0,056 -0,052 k 10 11 12 13 14 15 16 17 18 19 ak 0,033 -0,034 0,034 -0,031 0,028 -0,025 0,023 -0,029 -0,029 -0,03 ak 0,048 -0,045 0,042 -0,04 0,038 -0,036 0,034 -0,043 -0,043 -0,043 Таблица 2 Значения оценки (12) функционала качества при восстановлении плотности вероятности (3) N 1 2 3 4 5 6 7 8 9 -0,416492 -0,442569 -0,455039 -0,464734 -0,473139 -0,479536 -0,483056 -0,484753 -0,485328 N 10 11 12 13 14 15 16 17 18 -0,485565 -0,485918 -0,486332 -0,486598 -0,486696 -0,486703 -0,48666 -0,48659 -0,486517 Рис. 1. Результат восстановления функции плотности вероятности случайной величины, подчинённой закону распределения c2 при k = 1 Рис. 2. Результат восстановления функции плотности вероятности случайной величины, подчинённой закону распределения (13) Качество оценивания при этом составило Наличие разрыва второго рода внутри области оценивания значительно ухудшило качество аппроксимации по сравнению с примером 1. Заключение. Из доказанных свойств пространства L2,w следует, что для функции плотности вероятности любой непрерывной случайной величины можно построить проекционную оценку, сходящуюся в этом пространстве при определённом выборе весовой функции w(x). Численные эксперименты подтвердили, что предложенный способ оценивания плотности вероятности может быть использован в случаях, когда квадрат оцениваемой функции f(x) не суммируется, т. е. f Ï L2.

Sobre autores

V. Branishti

Reshetnev Siberian State Aerospace University

Email: branishti-v-v@yandex.ru
31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation

Bibliografia

Arquivos suplementares