Линейной регрессии и корреляции

После того, как найдено уравнение линейной регрессии (3), проводится оценка значимости как уравнения в целом, так и отдельных его параметров.

Оценка значимости уравнения регрессии в целом дается с помощью F- критерия Фишера. При этом выдвигается нулевая гипотеза о том, что коэффициент регрессии равен нулю и, следовательно, фактор х не оказывает влияния на результат y.

Перед расчетом критерия проводятся анализ дисперсии. Можно показать, что общая сумма квадратов отклонений (СКО) y от среднего значения раскладывается на две части – объясненную и необъясненную:

(11)

или, соответственно:

 

 

Здесь возможны два крайних случая: когда общая СКО в точности равна остаточной и когда общая СКО равна факторной.

В первом случае фактор х не оказывает влияния на результат, вся дисперсия y обусловлена в

оздействием прочих факторов, линия регрессии параллельна оси Ох и

Во втором случае прочие факторы не влияют на результат, y связан с x функционально, и остаточная СКО равна нулю.

Однако на практике в правой части (11) присутствуют оба слагаемых. Пригодность линии регрессии для прогноза зависит от того, какая часть общей вариации y приходится на объясненную вариацию. Если объясненная СКО будет больше остаточной СКО, то уравнение регрессии статистически значимо и фактор х оказывает существенное воздействие на результат y. Это равносильно тому, что коэффициент детерминации будет приближаться к единице.

Число степеней свободы. (df-degrees of freedom)- это число независимо варьируемых значений признака.

Для общей СКО требуется (n-1) независимых отклонений, т.к. что позволяет свободно варьировать (n-1) значений, а последнее n-е отклонение определяется из общей суммы, равной нулю. Поэтому

Факторную СКО можно выразить так:

Эта СКО зависит только от одного параметра - b, поскольку выражение под знаком суммы к значениям результативного признака не относится. Следовательно, факторная СКО имеет одну степень свободы, и

Для определения воспользуемся аналогией с балансовым равенством (11). Так же, как и в равенстве (11), можно записать равенство и между числами степеней свободы:

(12)

Таким образом, можем записать:

Из этого баланса определяем, что = n-2.

Разделив каждую СКО на свое число степеней свободы, получим средний квадрат отклонений, или дисперсию на одну степень свободы:

Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим - критерий для проверки нулевой гипотезы, которая в данном случае записывается как

(13)

Если справедлива, то дисперсии не отличаются друг от друга. Для необходимо опровержение, чтобы факторная дисперсия превышала остаточную в несколько раз. Английским статистиком Снедекором разработаны таблицы критических значений F при разных уровнях существенности и различных числах степеней свободы. Табличное значение F- критерия – это максимальная величина отношения дисперсий, которая может иметь место при случайном их расхождении для данного уровня вероятности наличия нулевой гипотезы. При нахождении табличного значения F- критерия задается уровень значимости (обычно 0,05 или 0,01) и две степени свободы – числителя (она равна единице) и знаменателя, равная n-2.

Вычисленное значение F признается достоверным (отличным от единицы), если оно больше табличного т.е. F_фактич>F_табл(α;1;n-2). В этом случае отклоняется и делается вывод о существенности превышения D_факт над D_остат.,т.е. о существенности статистической связи между y и x.

Если , то вероятность выше заданного уровня (например, 0,05), и эта гипотеза не может быть отклонена без серьезного риска сделать неправильный вывод о наличии связи между y и x. Уравнение регрессии считается статистически незначимым, не отклоняется.

В рассмотренном примере:

- это общая СКО.

- это факторная СКО.

 

- остаточная СКО.

; ; ;

; .

 

На любом уровне значимости , и можно сделать вывод о значимости уравнения регрессии. Статистическая связь между y и x доказана.

Величина F- критерия связана с коэффициентом детерминации.

, (14)

В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных его параметров.

Стандартная ошибка коэффициента регрессии определяется по формуле:

, (15)

- остаточная дисперсия на одну степень свободы (то же, что и D­_остат).

В рассмотренном примере

Величина стандартной ошибки совместно с - распределением Стьюдента при степенях свободы применяется для проверки существенности коэффициента регрессии и для расчета его доверительных интервалов.

Величина коэффициента регрессии сравнивается с его стандартной ошибкой; определяется фактическое значение - критерия Стьюдента

, (16)

которое затем сравнивается с табличным значением при определенном уровне значимости α и числе степеней свободы (n-2). Здесь проверяется нулевая гипотеза в виде Н₀:b=0, также предполагающая несущественность статистической связи между y и х, но только учитывающая значение b, а не соотношение между факторной и остаточной дисперсиями в общем балансе дисперсии результативного признака. Однако общий смысл гипотез один и тот же: проверка наличия статистической связи между y и х или её отсутствия.

Если t_b>t_табл( α ;n-2), то гипотеза Н₀:b=0 должна быть отклонена, а статистическая связь y с х считается установленной. В случае t_b<tтабл( α ;n-2) нулевая гипотеза не может быть отклонена, и влияние х на y признается несущественным.

В рассмотренном примере

Для двустороннего α=0,05 и n-2 =5 t_табл=2,57, t_b>t_табл, поэтому гипотезу о несущественности b следует отклонить.

Существует связь между и :

Отсюда следует, что .

Доверительный интервал для b определяется как . 95%-ные границы в примере составят:

т.е. Это означает, что с вероятностью 0,95 истинное значение b находится в указанном интервале.

Коэффициент регрессии имеет четкую экономическую интерпретацию, поэтому доверительные границы интервала не должны содержать противоречивых результатов, например, Они не должны включать нуль.

Стандартная ошибка параметра определяется по формуле:

(17)

Процедура оценивания существенности a не отличается от таковой для параметра b. При этом фактическое значение t -критерия вычисляется по формуле:

(18)

Процедура проверки значимости линейного коэффициента корреляции отличается от процедур, приведенных выше. Это объясняется тем, что r как случайная величина распределена по нормальному закону лишь при большом числе наблюдений и малых значениях | r |. В этом случае гипотеза об отсутствии корреляционной связи между y и х H₀:r=0 проверяется на основе статистики

, (19)

которая при справедливости H₀ приблизительно распределена по закону Стьюдента с (n-2) степенями свободы. Если , то гипотеза H₀ отвергается с вероятностью ошибиться, не превышающей α. Из (19) видно, что в парной линейной регрессии . Кроме того, , поэтому . Таким образом, проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

Однако при малых выборках и значениях r, близких к , следует учитывать, что распределение r как случайной величины отличается от нормального, и построение доверительных интервалов для r не может быть выполнено стандартным способом. В этом случае вообще легко прийти к противоречию, заключающемуся в том, что доверительный интервал будет содержать значения, превышающие единицу.

Чтобы обойти это затруднение, используется так называемое z-преобразование Фишера:

, (20)

которое дает нормально распределенную величину z, значения которой при изменении r от –1 до +1 изменяются от -∞ до +∞. Стандартная ошибка этой величины равна:

(21)

Для величины z имеются таблицы, в которых приведены её значения для соответствующих значений r.

Для z выдвигается нуль-гипотеза H₀:z=0, состоящая в том, что корреляция отсутствует. В этом случае значения статистики

, (22)

которая распределена по закону Стьюдента с (n-2) степенями свободы, не превышает табличного на соответствующем уровне значимости.

Для каждого значения z можно вычислить критические значения r. Таблицы критических значений r разработаны для уровней значимости 0,05 и 0,01 и соответствующего числа степеней свободы. Если вычисленное значение r превышает по абсолютной величине табличное, то данное значение r считается существенным. В противном случае фактическое значение несущественно.