The methods of regression and the resulting invariants based on them

全文:

Методы регрессии и получаемые на их основе инварианты к.э.н. Ивашнев Л.И. Университет машиностроения 8(985) 284-26-98 Аннотация. Статья содержит изложение инвариантов, полученных на основе трех базовых и трех взвешенных методов линейной множественной регрессии: метода наименьших квадратов, метода получения уравнений регрессии без сво- бодного члена и метода получения уравнений регрессии общего вида. Статья со- держит формулы, которые используются для расчета указанных инвариантов. В статье дан пример расчета значений инвариантов по данным представленной вы- борки. Ключевые слова: формулы, инварианты, базовые и взвешенные методы, метод наименьших квадратов, метод получения уравнений регрессии без сво- бодного члена, метод получения уравнений регрессии общего вида. В учебном пособии [3] изложены шесть методов линейной множественной регрессии, которые можно разделить на: три базовых метода: базовый метод наименьших квадратов; базовый метод получения вырожденных уравнений регрессии; базовый метод получения уравнений регрессии общего вида, и три метода взвешенной линейной множественной регрессии: взвешенный метод наименьших квадратов; взвешенный метод получения вырожденных уравнений регрессии; взвешенный метод получения уравнений регрессии общего вида. Также в этом пособии дана матричная форма каждого из этих методов. На основе этих методов можно определить несколько важных инвариантов, то есть констант, характеризующих исследуемую выборку. Рассмотрим их. Поскольку при отсутствии факторов, то есть только при наличии значений показателя Y базовое уравнение регрессии принимает вид: Y = a0, (1) то система нормальных уравнений для метода наименьших квадратов превращается в одно уравнение: откуда n na0   yi , (2) i1 n  yi a  i 1 0 n . (3) Из выражения (3) видно, что коэффициент а0 уравнения (2) представляет собой среднее арифметическое значений показателя Y. В случае вырожденного метода регрессии для показателя Y и фактора Х уравнение ре- грессии принимает вид: Y  a1 X , (4) а система нормальных уравнений превращается в уравнение: откуда получаем выражение для а1: n a1  x1i x1i i1 n   x1i yi , (5) i1 n  x1i yi  a i 1 1 n  x1i x1i i1 . (6) Вполне возможно, что выражение (6) может использоваться для оценки уровня корре- ляции случайных величин X и Y. Уравнение регрессии общего вида в случае одного фактора имеет вид: а1Х1 = 1, (7) поэтому система нормальных уравнений для получения таких уравнений регрессии состоит из одного уравнения и принимает следующий вид: n n a1  x1i x1i   x1i , (8) i1 i1 откуда получаем выражение для коэффициента а1: n  x1i  a i 1 1 n 2 x i  . (9) Из выражения (9) получаем: i1 1 a1  n  x1i i 1 , n n 2 x i  1 i 1 n то есть коэффициент а1 представляет собой отношение первого начального момента случай- ной величины Х ко второму начальному моменту этой же величины, вычисленным по задан- ной выборке: a  M1 . (10) 1 M 2 Отмечаем, что этот инвариант зависит только от значений рассматриваемой случайной величины. Если требуется получить взвешенное уравнение регрессии в случае одного показателя Y, то соответствующее уравнение принимает вид: Y = a0, (11) Система нормальных уравнений, предназначенная для получения таких взвешенных уравнений регрессии, имеет вид: n n a0  pi   pi yi , (12) откуда получаем: i1 n i1 a0   pi yi . i1 n  pi i1 (13) Легко видеть, что выражение (13) представляет собой взвешенную среднюю значений показателя Y. Если требуется взвешенное вырожденное уравнение регрессии для одного показателя Y и одного фактора X, то система нормальных уравнений превращается в одно уравнение: n n a1  pi xi xi  pi xi yi . (14) i1 i1 Из этого уравнения получаем еще один инвариант: n  pi xi yi  a i 1 1 n  pi xi xi i1 , (15) который видимо можно использовать для взвешенной оценки уровня корреляции случайных величин X и Y. И наконец, если требуется взвешенное уравнение регрессии общего вида для одного фактора X, то система нормальных уравнений превращается в одно уравнение n n a1  pi xi xi  pi xi . (16) i1 i1 Из этого уравнения получаем еще один инвариант: n  pi xi  a i 1 1 n  pi xi xi i1 , (17) n разделив числитель и знаменатель которого на  pi i1 получаем: a1  n  pi xi i 1 n  pi i1 n  M1 , M  i i i p x x 2 i 1 n  pi i1 т.е. коэффициент а1 взвешенного уравнения регрессии общего вида от выборки, состоящей из значений одной величины Х, равен отношению первого взвешенного момента величи- ны Х к ее второму взвешенному моменту a  M1 . (18) 1 M 2 Отмечаем, что этот инвариант измеряется отношением средневзвешенной величины X к средневзвешенной величине X2 и зависит только от значений случайной величины X. В качестве примера рассмотрим следующую задачу. По данным следующей выборки рассчитать основные инварианты, характеризующие следующие случайные величины (таблица 1): Таблица 1 X1 2,5797 0,3678 1,0706 2,9002 0,2893 2,9431 1,861 X2 1,505637 3,367738 3,76242 3,112084 1,145446 0,835847 1,739339 P 1 2 3 4 5 6 7 По данным выборки рассчитаем указанные инварианты. Получаем следующие оценки (таблица 2). Таблица 2 Показатель X1 X2 nСреднее арифметическое a0   yi / ni1 1,715957 2,209787 n na1   x1i yi /  x1i x1ii1 i1 0,847613 0,569718 n nОтношение моментов a1   x1i /  x1i x1ii1 i1 0,420632 0,36409 n nСреднее взвешенное a0   pi yi /  pii1 i1 2,015096 1,564774 n na1   pi xi yi / pi xi xii1 i1 0,776047 0,678002 n nОтношение моментов a1  M1 / M2   pi xi / pi xi xii 1 i 1 0,416607 0,397535 Отмечаем, что из полученных инвариантов широко известными являются только сред- нее арифметическое и среднее взвешенное. Смысл и возможное применение остальных ин- вариантов еще предстоит выяснить.

作者简介

L. Ivashnev

Moscow State University of Mechanical Engineering (MAMI)

Ph.D.; +7(985) 284-26-98

参考

补充文件