Тема №3 - окончание. Множественный регрессионный анализ

 

Вопросы для изучения. Классическая нормальная линейная модель множественной регрессии. Оценка параметров методом наименьших квадратов (матричная форма). Ковариационная матрица и её выборочная оценка. Оценка дисперсии возмущений. Определение доверительных интервалов для коэффициентов и функции регрессии. Оценка значимости множественной регрессии.

 

Определения, формулы, справки

А) Элементы матричной алгебры. Матрица – прямоугольная таблица чисел или переменных. Пусть дана система двух уравнений с двумя неизвестными:

(7.1)

Запись системы уравнений в матричной форме:

(7.2)

Сокращённо:

АХ=В

(7.3)

Если обе части (7.3) умножить слева на обратную матрицу А^-1, то получим решение системы линейных уравнений:

Х= А-1В

(7.4)

Операция перемножения двух матриц (строка на столбик скалярно):

Операция транспонирования матрицы (обозначение - штрих):

(7.5)

Операция обращения матрицы. Обращению подлежат матрицы квадратные и неособенные – у которых определитель не равен нулю. Формула обращения матрицы А:

А-1 = (Аij)’,

(7.6)

где	çА ç	- определитель матрицы А,
	(Аij)’	- транспонированная матрица, составленная из алгебраических дополнений Аij матрицы А.

Алгебраическое дополнение – минорсо своим знаком. Минор для ij-го элемента матрицы А есть число - определитель подматрицы, получаемой из данной матрицы путем вычеркивания из нее i-й строки и j-го столбца.

    Б) Классическая нормальная линейная модель множественной регрессии имеет вид:

yi = b0 + b1xi1 + b2xi2 +... + bpxip + ei ,

(7.7)

Так называют модель, которая удовлетворяет предпосылкам 1-5 регрессионного анализа и ещё – предпосылке 6: столбцы матрицы-плана Х должны быть линейно независимыми, т.е. ранг r матрицы Х должен быть равен m=р+1. Матрица плана Х c размерностью nx(p+1):

(7.8)

В) Оценка параметров регрессии методом наименьших квадратов в матричной форме. Критерий оптимальности МНК в матричной форме:

S = å( - yi)2 = å ei2 = e’e = (Y-Xb)’(Y-Xb) ® min.

(7.9)

Составим систему уравнений и приравняем нулю частные производные от S по b_i, запишем в матричной форме (читается ”набла S по b равно 0-вектору”):

bS = 0m, где 0m – нулевая матрица mх1 (ноль-вектор).

(7.10)

Окончательносистема уравнений относительно вектора параметров b:

X’X∙b = X’Y.

(7.11)

Разрешим (7.11) относительно b, для этого умножим обе его части слева на обратную матрицу (Х’X)^-1. Получим искомое:

b = (Х’X)-1X’Y.

(7.12)

Г) Ковариационная матрица и её выборочная оценка. В множественном регрессионном анализе матричным аналогом дисперсии одной переменной является ковариационная матрица å_b размерностью (р+1)х(р+1) случайного вектора оценок b параметров:

,

где s_ij = M[(b_i-M(b_i))×(b_j-M(b_j))] - ij-я ковариация оценок параметров b_i и b_j.

На главной диагонали Σ_b находятся дисперсии оценок параметров регрессии:

s_ii = M[(b_i-M(b_i))×(b_i-M(b_i))] = s_bi².

Путем преобразованийполучается ковариационная матрица:

åb =s2(Х’X)-1.

(7.13)

Таким образом, с помощью обратной матрицы (Х’X)^-1 определяется и вектор оценок b, и дисперсии-ковариации его компонент.

Д) Оценка дисперсии ошибок. Выражение для несмещенной выборочной оценки s²для дисперсии s²ошибок e:

.

(7.14)

Е) Определение доверительных интервалов для коэффициентов и функции регрессии. Доверительный интервал для коэффициентов b_j:

bj - t1-a, n-p-1 sbj£bj£ bj + t1-a, n-p-1 sbj.

(7.15)

Доверительный интервал для условного МО М_х(Y):

	х- t1-a, k £ Mx(Y) £ х + t1-a, k ,	(7.16)
где = - СКО групповой средней х;		(7.17)
Хо'=(1x10 x20... xp0) – (р+1)-мерный вектор объясняющих переменных, Х – матрица плана.

Доверительный интервал для индивидуального значения :

- t1-a, n-p-1 £ £ + t1-a, n-p-1k ,	(7.18)
где: .	(7.19)

Доверительный интервал для остаточной дисперсии s² множественной регрессии:

.

(7.20)