THE ANALYSIS OF ASYMPTOTIC PROPERTIES OF MULTIDIMENTIONAL NONPARAMETRIC REGRESSION

Аннотация

Asymptotic properties of multidimensional nonparametric regression, synthesis of which is grounded on estimations of a probability density of Rosenblatt-Parzen, are explored. Their quantitative dependence on flavor of kernel function and features of initial statistical data is determined.

Толық мәтін

Для этой регрессии был разработан ряд модификаций в условиях малого [4], большого [5] объема статистических данных и при обработке неоднородной информации [6]. Непараметрическая регрессия является основным элементом структуры гибридных моделей, решающих правил оценивания состояния статических систем и временных процессов [7]. Уже установлены условия асимптотической сходимости непараметрической регрессии и ее модификаций, однако полученные результаты не позволяют определить количественную зависимость показателей эффективности исследуемых статистик от их параметров и особенностей априорной информации. Эта проблема усугубляется тем, что непараметрическая регрессия является оценкой условного математического ожидания. Нелинейный характер ее зависимости от непараметрических оценок плотностей вероятности случайных величин создает трудности при количественном анализе ее асимптотических свойств. Исследование аппроксимационных свойств непараметрической регрессии значительно упрощается, если априорная информация содержит сведения о виде плотности вероятности аргументов восстанавливаемой зависимости. Такие сведения могут быть получены в результате предварительной обработки исходных статистических данных либо при их формировании в процессе активного эксперимента с исследуемым объектом. Цель данной статьи состоит в анализе асимптотических свойств многомерной непараметрической регрессии в зависимости от вида ядерной функции при известной плотности вероятности аргументов восстанавливаемой зависимости. Непараметрическая регрессия и ее асимптотические свойства. Пусть V = (x1, y1, i = 1, n) - выборка, составленная из n независимых наблюдений слу- (x = (xv , v = 1 k) y) вероятности p (x, y). Обозначим плотность вероят- чайной величины где ядерные функции Ф (uv) удовлетворяет условиям H: Ф(^ ) = Ф(—uv ), 0 <Ф( )<м, JФ(uv)duv = 1, JuV Ф(^)duv = 1, JuV Ф(uv)duv <ш, 0 < m <ш; v = 1, k , а их коэффициенты размытости cv = cv (n) ^ 0 с ростом n. Здесь и далее бесконечные пределы интегрирования опускаются. При синтезе статистики ф1 (x) используется непараметрическая оценка p (x, y) многомерной плотности вероятности p (x, y) типа Розенблатта-Парзена [1; 2]. Для получения аналитически значимых результатов при исследовании свойств непараметрической регрессии будем считать, что интервалы изменения значений компонент xv, v = 1, k , вектора x одинаковы. В этих условиях появляется возможность полагать одинаковыми значения коэффициентов размытости cv = c, v = 1, k, ядерных функций. Тогда непараметрическая регрессия (1) запишется в виде 1 Ф (x )=- :ІПф (2) с плотностью пс p (x) i=1 v=1 Асимптотические свойства ф (x) определяются следующим утверждением. * Работа выполнена при поддержке гранта ФЦП «Научные и научно-педагогические кадры инновационной России, на 2009-2013 гг.», ГК № 02.740.11.0621. 41 Математика, механика, информатика Теорема. Пусть ф (x), p (x, y), p (x) * 0 и первые две их производные по каждой компоненте xv , v = 1, k , ограничены и непрерывны; ядерные функции Ф(и„) удовлетворяют условиям H; последовательности c = c (n) коэффициентов размытости ядерных функций такие, что при n — ш значения c — 0 , а nck — м. Тогда непараметрическая оценка регрессии ф (x) обладает свойствами асимптотической несмещенности и состоятельности. Д о к а з а т е л ь с т в о. По определению имеем M (ф (x ))= к \ чХ nc p(x) n k f x — ’ j I xS J—J у1 П ф| ^ i=1 v=1 ітз J- J y II ф p (r) / x,, — t. p (y1, xj, —, xk ^jdy'dx\ — dxk = p (y, t1,- — tk )dydh — dtk = TT J—J ф(t )П Ф p (x) \(2) k k S S ф(.!,М p(2) (x) v=1 r=1 4 p (x) ■ S ф^ (x) p{v) (x) J uv4 Ф(uv ) duv + 0 (c6 ) , v=1 Для доказательства состоятельности оценки ф (x) вычислим ее дисперсию D ((x)) = M (ф(x) — ф (x))2 — ( ( (x) — ф (x)))2 . (5) Исследуем асимптотические свойства среднеквадратического отклонения: M ( ф (x) — ф (x ))2 = ■M (2 (x)) — 2 ф(x)M ((x)) + ф2 (x). (6) Следуя ранее использованной технологии исследований, проведем преобразования: M (ф2 (x)): 1 2 2k 2 n c ~ p(x) Sm (y) П Ф2 V j j f k Л. i=1 j=1 j * SSm у1 Пф у3Пф V / V /J Xv tv 'p(t1,.—tk)dt1 — dtk, (3) 2 2k12 ( ) [n J—J ф2 (,—, tk): 72 c2kp2 (x)L J J где M - знак математического ожидания. При выполнении данных преобразований учитывается, что элементы статистической выборки V являются значениями одних и тех же случайных величин (t, у) с плотностью вероятности p (у, t1, — , tk). Проведем в выражении (3) замену переменных (xv — tv) c—1 = uv и разложим функции ф (xv-ctv, v = 1, k), p )xv-ctv , v = 1, k j вряд Тейлора в точке x. Тогда с учетом свойств H ядерных функций при достаточно больших значениях n получим асимптотическое выражение смещения непараметрической регрессии M (ф(x)—ф (x)) ~ . c( ) S (ф (x) p (x)) ПФ2 2 I xv — tv -J p (t1,—, tk )dt1 — dtk + +n (n — 1)(j — J ф (, — , tk ) Х ХП ф| 1 p (t1,„., tk )dt1 — dtk v=1 V c J Пренебрегая величинами малости 0 f 1 I ,nck —2, 0 (c6), найдем значение асимптотическо- го выражения m(ф2(x))~ф2(x) + 1 ( )ф2(x) v ’ nc p(x) ЩФ 2 (uv )duv v=1 4p2(x) S (ф (x) p(x )l V v=1 ,(2) (4) где ф^^), p^ (x), ( (x) p (x))(2) - вторые производные функций ф (x), p(x) и их произведения по компоненте xv; стмволом 0 (c6) обозначены слагаемые степени малости порядка c6. Отсюда, из условия c — 0 при n —— м , следует свойство асимптотической несмещенности непараметрической регрессии ф (x). v=1 r =1 r *v S S фV2) {x)pr2) (x) +S фі2) {x)pi2) (x) J UV4ф(UV )duv v=1 (7) Подставим выражения (4) и (7) в (6) и при достаточно больших n получим м (ф (x)—ф (x))2 ~ср'к ^п іф2 (uv )duv nckp(x) v=1 (8) 4 p2 (x) S(Ф(x) p(x)) V v=1 (2) 1=1 v=1 v=1 4 4 + 42 Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева Отсюда, с учетом соотношений (4) и (8), из условия c — 0, nck —— ш при n —— м следует свойство состоятельности непараметрической регрессии ф (x). При k = 1 результат (8) совпадает с утверждением работы [8], что подтверждает корректность выполненных преобразований. Анализ аппроксимационных свойств статистики ф (х). На основании полученных аналитических результатов установим количественную зависимость аппроксимационных свойств ф (x) от вида ядерной функции и особенностей исходных статистических данных. Определим минимальное значение W2 выражения П|Ф2 (uv )duv nc J — J ф2 (x) p 1 (x) dx1 — dxk + 4 2 J—Jl p—1 (x )S(ф (x) p (x)) dx1—dxk, (9) V v=1 J которое получено путем интегрирования результата (8). Из условия минимума (9) по коэффициенту размытости с нетрудно получить его оптимальное значение f k |1/(k+4) kA ЩФ2 (uv)duv * c = nB где A = J — Jф2 (x) p 1 (x) dx1 ... dxk; k B=J—Jl p'1 (x(x)p(x))(2J dx1—dxk. v=1 (2) Тогда, подставляя c* в выражение (9), получим 4 -|1/(k+4) A ПfФ2 (uv)duv W2 = Bk 4 + k 4 kk/(k+4) . (10) Ф0 (uv ) = 3 3uv r r v hi <>/5, 4V5 20V5 1 1 0 V luj >V5 Для исследования влияния вида ядерных функций на аппроксимационные свойства многомерной непараметрической регрессии определим отношение R2 = W2 (Ф(u)) W2 ((0 (u)) где W2 (Ф0 (u)), W2 (ф(u)) - значения критерия W2 (10) при ядерных функциях Ф0 (u), Ф(u). При этом по каждой компоненте uv, v = 1, k , использовались следующие ядерные функции: Ф (uv ) = v |u^ Ф (uv ) = (2 n)—V2 e—uv/2, 1 Ф (uv ) = V |u^ 0 v luj ^73, Ф (uv )= ^ u (11а) (11б) (11в) (11 г) Нетрудно убедиться, что в данных условиях при Ф(uv) = Ф(u) и Ф0 (uv) = Ф0 (u), v = 1, k , отношение r2 = a4k/ (k+4), где J Ф2 (u )du a = J Ф2 (u )du Значения a приведены в работе [2]. Результаты вычислительных экспериментов при исследовании зависимости отношения R2 от количества k аргументов восстанавливаемой зависимости и вида ядерных функций представлены в таблице. Зависимость отношения R2 от количества k аргументов восстанавливаемой зависимости и вида ядерных функций Дополнительно уменьшить значение W2 можно за счет минимизации выражения J Ф2 (uv) duv по виду ядерной функции Ф(^) с учетом выполнения условий H. Подобная задача решена в работе [2], в которой получена оптимальная форма ядерной функции Ф^) k = 1 k = 3 k = 5 k = 7 k = 9 (11а) 1,012 1,026 1,034 1,039 1,042 (11б) 1,041 1,089 1,117 1,135 1,148 (11в) 1,061 1,136 1,179 1,208 1,228 (11г) 1,249 1,61 1,853 2,027 2,157 С ростом размерности k вектора аргументов восстанавливаемой зависимости возрастает влияние выбора вида ядерной функции на аппроксимационные свойства многомерной непараметрической регрессии, что проявляется в увеличении значений отношения R2. Такая тенденция особо характерна для ядерных функций O(u) и 00(u), которым свойственны v=1 4 43 Математика, механика, информатика большие значения a. Например, отношение R2 для ядерной функции (11а) при k = 9 равно 1,042, а для (11г) - 2,157. При этом соответствующие им значения а равны 1,015 (11а) и 1,32 (11г). На основе анализа асимптотических свойств многомерной непараметрической регрессии определена количественная зависимость ее аппроксимационных свойств от вида ядерной функции и особенностей статистических данных. В условиях их достаточно большого объема вид ядерной функции оказывает значимое влияние на среднеквадратическое отклонение непараметрической регрессии от условного математического ожидания, которое возрастает с увеличением размерности аргументов восстанавливаемой зависимости. Данная закономерность особо проявляется с увеличением степени отличия ядерной функции от оптимального ядра Епанечникова.