Methods of linear multiple regression in a matrix form

Full Text

Методы линейной множественной регрессии в матричной форме к.э.н. Ивашнев Л.И. Университет машиностроения 8(985) 284-26-98 Аннотация. Статья содержит краткое изложение трех базовых и трех взвешен- ных методов линейной множественной регрессии в матричной форме, которые вместе с методом наименьших квадратов К. Гаусса составляют новый инструмен- тарий регрессионного анализа. Статья содержит матричные формулы, которые могут использоваться для получения уравнений линейной множественной регрес- сии базовым и взвешенным методом наименьших квадратов, методом получения уравнений регрессии без свободного члена и методом получения уравнений ре- грессии общего вида. В статье дан пример применения матричных методов для получения коэффициентов уравнения регрессии общего вида, т.е. уравнения от равноправных показателей. Ключевые слова: матричная формула, базовые и взвешенные методы, ли- нейная множественная регрессия, метод наименьших квадратов, метод полу- чения уравнений регрессии без свободного члена, метод получения уравнений регрессии общего вида В учебном пособии [3] изложены 6 методов линейной множественной регрессии, кото- рые можно разделить на: три базовых метода: метод наименьших квадратов [1], метод получения вырожденных уравнений регрессии [2], метод получения уравнений регрессии общего вида [3], и три метода взвешенной линейной множественной регрессии [3]: взвешенный метод наименьших квадратов, взвешенный метод получения вырожденных уравнений регрессии, взвешенный метод получения уравнений регрессии общего вида. Также в этом пособии дана матричная форма каждого из этих методов. Из этих методов широко известен только метод наименьших квадратов, разработанный К. Гауссом, остальные методы пока не получили широкого признания. Эти методы не вклю- чены в учебные программы ВУЗов и почти не знакомы научным работникам и специалистам. Тем не менее, применяя новые методы можно значительно повысить точность и качество ра- бот в области моделирования и в прогнозных и аналитических работах. Более того, эти мето- ды могут найти применение практически в любых отраслях науки и техники. Изложение методов регрессии в матричной форме дано в разных главах книги [3] и не создает целостной картины матричного регрессионного анализа. Поэтому, в настоящей ста- тье делается попытка такого однообразного изложения матричных способов представления методов линейной множественной регрессии. При расчете коэффициентов линейного уравнения множественной регрессии методом наименьших квадратов (базовым или взвешенным) используется уравнение регрессии вида: y  a0  a1 x1  a2 x2  ...  am xm . (1) Для получения вырожденного уравнения регрессии, т.е. уравнения регрессии без сво- бодного члена (базового или взвешенного) используется уравнение: y  a1 x1  a2 x2  ...  am xm . (2) Определение коэффициентов уравнения регрессии общего вида (базового или взвешен- ного) выполняется для уравнения регрессии вида: a1 x1  a2 x2  ...  am xm  1 . (3) x1n   y1   p1  1  a0  x 2n    y2     p2      a1  При этом используются следующие матрицы:  x11 x12 x21 x22 ... ... xm1  x  m2    x11 * x21 x12 x21 ... ... 1  X    , X    , Y    , P    , 1    , A    ,  ... x1n ... x2n ... ... ...  xmn   ... xm1 ... xm2 ... ... ...  xmn   ...   yn   ...   pn  ... 1   ...  am  причем матрицы Y и X состоят из элементов исходной выборки, матрица X * - транспонированная матрица Х , P - вектор, т.е. матрица-столбец весовых коэффициентов строк исходной выборки, 1 - единичный вектор, т.е. матрица-столбец, элементами которой являются еди- ницы, а матрица-столбец А состоит из неизвестных коэффициентов искомого уравнения ре- грессии. При применении метода наименьших квадратов осуществляется расчет коэффициентов уравнения регрессии (1), причем используется матрица X , которая получается добавлением в матрицу Х слева единичного столбца, т.е. столбца, состоящего из единиц. Используется также матрица рицы: X * , получающаяся транспонированием матрицы X , т.е. используются мат-  1 1  ... 1  1   x11 x21 ... xm1    x11 x12 ...  x1n  X  1 x12 x22 ... xm2  * ,   . X   x21  ... x22 ... ... ... x2n  ...  ... ... ... ... ...   xm1 xm 2 ...  xmn  1 x1n x2n ... xmn  Перемножая эти матрицы получаем матрицу:  n n n   1 1  ... 1  1 x x ... x   n  x1i i 1  x2i i1 ...  xmi  i1 x x ... x  11 21 m1   n n n n  *  11 12 1n 1 x12 x22 ... xm2   x  x x  x x ...  x x  X X   x21 x22 ... x2n     1i 1i 1l 1i 2i 1i mi  . (4)  ... ... ... ... ... ... ... ... ...  i 1  ... i1 ... i 1 ... ... i1 ...   1 x1n x2n ... xmn   n n n n  xm1 xm2 ... xmn   xmi  xmi x1i  xmi x2i ...  xmi xmj   i1 i1 i1 i1  Эта матрица состоит из коэффициентов левой части (до знаков равенства) системы нормальных уравнений, использующейся для расчета коэффициентов линейного уравнения множественной регрессии методом наименьших квадратов, которая имеет вид:  n n n n  na0  a1  x1i  a2  x2i  ...  am  xmi   yi  n n i1 i1 n i1 n i1 n   a0  x1i  a1  x1i x1i  a2  x1i x2i  ...  am  x1i xmi   x1i yi n x2i  na1  x2i x1i n a2  x2i x2i  n...  am  x2i x nmi   x2i yi (5) i1 i1 i1 i1 i1    a0  a x  a x x  a x x  ...  a x x  i1 n i1 n i1 .................... n ................ i1 n i1 n  0  mi 1  mi 1i 2  mi 2i m  mi mi   xmi yi  i1 i1 i1 i1 i1 Обратная матрица X * X 1 от матрицы (4) может использоваться для расчета коэффициентов уравнения регрессии матричным методом наименьших квадратов. Те же операции выполним для получения вырожденного уравнения лилейной множе- ственной регрессии, т.е. уравнения без свободного члена. Вырожденным такое уравнение называется потому, что нулевые значения аргументов и функции являются дополнительным решением соответствующего уравнения. К числу таких функций относится, например, вы- ручка, которая равна нулю при нулевых количествах проданного товара. В этом случае, перемножая матрицы X*X получаем матрицу:  n n n    x1i x1i  x1i x2i ...  x1i xmi   x x ... x   x x ... x   i1 i1 i1  11 12 1n    11 21 m1   n n n  X * X   x21 x21 ... x2n  x12 x22 ... xm2    x2i x1i  x2i x2i ...  x2i xmi  . (6)  ... ... ... ...   ... ... ... ...   i1 i1 i1       ... ... ... ...  xm1 xm2 ... xmn  x1n x2n ... xmn    n n n    xmi x1i  xmi x2i ...  xmi xmi   i1 i1 i1  Эта матрица состоит из коэффициентов левой части системы нормальных уравнений, использующихся для расчета коэффициентов вырожденного уравнения регрессии, т.е. урав- нения регрессии без свободного члена (2), причем эта система нормальных уравнений имеет вид:  n n n n  a0  x1i x1i  a1  x1i x2i  ...  am  x1i xmi   x1i yi  i1 i1 i1 i1  n n n n  a0  x2i x1i  a1  x2i x2i  ...  am  x2i xmi   x2i yi  i1 i1 i1 i1 (7)  ...............................   n n n n a0  xmi x1i  a1  xmi x2i  ...  am  xmi xmi   xmi yi  i1 i1 i1 i1 Вычисляя обратную матрицу (X*X)-1 от матрицы (6) получаем промежуточную матрицу для расчета искомых коэффициентов вырожденного уравнения регрессии или уравнения ре- грессии общего вида. Далее рассмотрим взвешенные методы регрессии, причем наиболее просто получить взвешенное вырожденное уравнение линейной множественной регрессии. В этом случае ис- ходная выборка дополняется столбцом весовых коэффициентов, которые могут означать кратность повторения строки исходной выборки или ее важность. Хотя эта операция и не признается в качестве матричной операции, однако выполняя операцию поэлементного умножения каждого элемента вектора весовых коэффициентов P на элементы соответству- ющей строки матрицы X получаем матрицу:  p1   x11 x21 ... x m1   p1x11 p1x21 ... p1x m1         p2 * x12 x22 ... xm2    p2 x12 p2 x22 ... p2 xm2  .  ...   ... ... ... ...   ... ... ... ...         pn  x1n x2n ... xmn   pn x1n pn x2n ... pn xmn  Если ее транспонировать, то будет получена матрица X* :  p1x11 p1x12 ... p1x1n    X *   p2 x21 p2 x21 ... p2 x2n  .  ... ... ... ...     pn xm1 pn xm2 ... pn xmn  Произведение матриц X* X дает матрицу:  n n n   p x p x ... p x x x ... x     pi x1i x1i  pi x1i x2i ...   pi x1i xmi  1 11  1 12 1 1n 11 21  m1 i1   n i1 n i1 n   p x p x ... p x n x x ... xm   i 2i 1i  i 2i 2i  i 2i mi  X * X   2 21 ... 2 21 ... ... 2 2 ... 12  ... 22 ... ... 2 ...    p x x i1 p x x i1 ... p x x i1  . (8)   pn xm1 pn xm2 ...  pn xmn x1n x2n ...   xmn   n ... ... n ... ...  n   pi xmi x1i  pi xmi x2i ...  pi xmi xmi   i1 i1 i1  Элементы матрицы (8) являются коэффициентами левой части системы нормальных уравнений, используемой для расчета коэффициентов взвешенного вырожденного уравнения линейной множественной регрессии и взвешенного уравнения общего вида. Обратная матрица X* X 1 от матрицы (8) используется в таком расчете. Теперь получим вспомогательную матрицу для расчета коэффициентов взвешенного уравнения линейной множественной регрессии методом наименьших квадратов. Для этого выполним поэлементное умножение элементов единичного вектора на строки матрицы X :  p1  1 x11 x21 ... xm1   p1 p1 x11 p1 x21 ... p1 xm1         p2  1 x12 x22 ... xm2   p2 p2 x12 p2 x22 ... p2 xm2   *     .  ...  ... ... ... ... ...   ... ... ... ... ...   pn  1 x1n x2n ... xmn   pn pn x1n pn x2n ... pn xmn  Выполнив транспонирование этой матрицы получаем матрицу X* :  p1  p2 ... pn   X*  p1 x11   p1 x21 p2 x12 p2 x22 ... ...  pn x1n  pn x2n   ...  ... ... ...    p1 xm1 p2 xm2 ... pn xmn  и умножив ее на матрицу X получаем матрицу  X* X : n n n n   p1  p2 ... pn  1 x x ... x    pi i1  pi x1i i1  pi x2i i1 ...  pi xmi  i1  p x p x ... 11 p x 1 x 21 m1 x m  x ...   n  p x n  p x x n  p x x ... n   p x x  1 11 2 12  n 1n X* X   p1 x21 p2 x22 ... pn x 2n  12 22 2    i 2i i 2i 1i i 2i 2i i 2i mi  . (9)  ... ... ... ... ... ... ... ... ...  i1  ... i1 ... i1 ... ... i1 ...   1 x1n x2n ... xmn   n n n n  p1 xm1 p2 xm2 ... pn xmn   pi xmi  pi xmi x1u  pi xmi x2i ...  pi xmi xmi   i1 i1 i1 i1  Элементы матрицы (9) являются коэффициентами левой части системы нормальных уравнений, используемой для расчета коэффициентов взвешенного уравнения линейной множественной регрессии методом наименьших квадратов. Вычислив для матрицы (9) обратную матрицу получаем промежуточную матрицу X* X 1 , которая может быть использована для расчета коэффициентов уравнения регрессии взвешенным методом наименьших квадратов. Кроме расчета обратной матрицы надо рассчитать вторую часть расчетной формулы для вектора неизвестных коэффициентов уравнения регрессии, которая для базового метода наименьших квадратов имеет вид:  1  x 1 ... x ... 1   y1  x n     n     yi  i1 n *  11 12 1  y2    x y  X Y   x21 x22 ... x2n     1i i  , (10)  ... ... ... ...  ...  i1  ...    ym   n  xm1 xm 2 ... xmn   xmi yi   i1  для базового метода получения вырожденного уравнения регрессии:  n   x x ... x  y      x1i yi   11 * x21 12 x21 ... 1n 1 x y   2n  2  i1 n y  x2i i  X Y       i1  , (11)  ... xm1 ... xm2 ... ... ...  ...  xmn ym   ...   n   xmi yi   i1  для базового метода получения уравнения регрессии общего вида:  n   x x ... x 1    x1i  11 12  1n   i1 n * x21 x21 ... x2n 1  x2i  X 1       i1  , (12)  ... xm1 ... xm2 ... ... ... ... xmn 1  ...   n   xmi   i1  для взвешенного метода наименьших квадратов:  n   p1   p x p2 ... p x ... pn 1 pn x n   y1        pi yi  i1 n * 1 11  2 12  y2    p x y  X Y   p1 x21 p2 x22 ... pn x2n  ...    i1 i 1i i  , (13)  ... ... ... ...    ...    yn   n   p1 xm1 p2 xm2 ... pn xmn   pi xmi yi   i1  для взвешенного метода получения вырожденного уравнения регрессии:  n   p x p x ... p x  y      pi x1i yi  1 11  2 12 n 1n 1   i1 n *  p1 x21 p2 x21 ... pn x2n y2   pi x2i yi  X Y       i1  , (14)  ... ... ... ...  ...   ...   p1 xm1 p2 xm2 ... pn xmn уn   n   pi xmi yi   i1  для взвешенного метода получения уравнения регрессии общего вида:  n   p x p x ... p x 1     pi x1i  1 11  2 12 n 1n   i1 n *  p1 x21 p2 x21 ... pn x2n 1  pi x2i  X Y        . (15) ... ... ... ... i ... 1     ...   p1 xm1 p2 xm2 ... pn xmn 1  n   pi xmi   i1  Итак, для использования базовых методов получения линейных уравнений множе- ственной регрессии могут использоваться следующие матричные формулы: базовый метод наименьших квадратов A  X * X 1 * X Y , (16) базовый метод получения вырожденного уравнения регрессии A  X * X 1 X *Y , базовый метод получения уравнения регрессии общего вида (17) A  X * X 1 X *1, (18) взвешенный метод наименьших квадратов А = X* X 1 X * Y, (19) взвешенный метод получения вырожденного уравнения регрессии * A = X* X 1 X Y . (20) взвешенный метод получения уравнения регрессии общего вида * A = X* X 1 X 1 . (21) каждая из них представляет собой матрицу-столбец А, элементами которого являются значе- ния коэффициентов а0, а1, а2,…, аm или а1, а2,…, аm искомого уравнения линейной множе- ственной регрессии. В качестве примера получим уравнение регрессии общего вида по выборке, представ- ленной в виде матрицы X , которая имеет следующий вид:  9,526302 19,1572 2,5797 0,3678 1,505637   3,367738 20,12396 1,0706 3,76242  X =  ,36933 2,9002 3,112084 . 13 12,12286  5,655305  11,32897 0,2893 2,9431 1,861  1,145446   0,835847  1,739339  19,1572 20,12396 13,36933 12,12286 5,655305 0,367839 1,070597 2,900175 0,289254 2,943124 3,367738 3,76242 3,112084 1,145446 0,835847риц X * и X: После транспонирования она принимает вид:  9,526302 11,32897  X * =  ,579704 1,86097  .  2 1,505637 Произведение мат 3  1,739339 X * X 1348,753  1 =  33,1736  234,4988 133,1736 28,55623 24,20469 234,4988  ,  24,20469   42,48546  обратная матрица произведения:  0,018375 0,000528 - 0,10172   X * X 1 =  0,000528  0,067736  - 0,04151   - 0,10172 - 0,04151 0,608626  и, наконец, произведение транспонированной матрицы на единицу-вектор, то есть единич- ную матрицу-столбец: 91,28393 X *1 =  2,01167  .      5,46851  Произведением обратной матрицы на матрицу-столбец 0,110198  X *1 является матрица-столбец: A  ( X * X )1 X *1    , 0,219807    - 0,36938  Итак, получена матрица-столбец, элементами которого являются коэффициенты а1, а2 и а3 искомого уравнения регрессии общего вида. В итоге получено искомое линейное уравне- ние регрессии общего вида: 0,110198 Х1 + 0,219807 Х2 - 0,36938 Х3 = 1. Важно заметить, что все рассмотренные преобразования можно выполнить, пользуясь встроенными функциями EXCEL, в частности, функциями МУМНОЖ, МОБР, ТРАНСП. В заключение отмечаем, что использованная выборка представляет собой фрагмент ге- неральной выборки, элементы которой связаны между собой случайной зависимостью Х1 = 10 - 2 Х2 +3 Х3. Если из полученного уравнения регрессии общего вида выразить Х1, то оно примет вид: Х1 = 9,074581 - 1,994655 Х2 + 3,35194 Х3. С другой стороны, базовым методом наименьших квадратов получено уравнение ре- грессии Х1 = 8,884244 - 1,953421 Х2 +3,397745 Х3. Легко видеть, что погрешности оценок всех коэффициентов уравнения регрессии об- щего вида (-9,25%; 0,267%; 11,73%) меньше соответствующих погрешностей (-11,16%; 2,33%; 13,26%) уравнения регрессии, полученного методом наименьших квадратов. Это под- тверждает пригодность метода получения уравнений регрессии общего вида для применения в экономических исследованиях и для моделирования экономических объектов и процессов. Так же могут использоваться и другие матричные методы линейной множественной регрес- сии.

About the authors

L. I Ivashnev

Moscow State University of Mechanical Engineering (MAMI)

Ph.D.; +7(985) 284-26-98

References

Supplementary files