Оценивание функции отклика и ее параметров.

Пусть – одномерная функция отклика. Ее оценка в любой точке имеет вид:

 

. (15)

 

Если – МНК-оценка вектор-столбца неизвестных параметров β = (b₁ b₂... b _p) ^T, полученная по наблюдениям в точках x ₁, x ₂,..., x _N, и ранг матрицы планирования X равен p, то оценка (15) является несмещенной и при заданной матрице плана (12) в классе линейных несмещенных оценок имеет минимальную дисперсию.

Пример 1. Пусть ; тогда оценка будет иметь вид .

Если столбцы матрицы планирования попарно ортогональны, т. е. при i ¹ j (i, j = 1, 2,..., p) выполняются равенства

 

f_i (x ₁) f_j (x ₁) + f_i (x ₂) f_j (x ₂) +... + f_i (x _N) f_j (x _N) = 0, (16)

 

то говорят, что имеет место ортогональное планирование.

Обозначим X _j = (f_j (x ₁), f_j (x ₂),..., f_j (x _N)), тогда имеем

 

f_i (x ₁)² + f_i (x ₂)² +... + f_i (x _N)² = | X _j |² . (17)

 

Заметим, что вектор X _j, рассматриваемый как вектор‑столбец, совпадает с j -м столбцом матрицы X, поэтому из (16) и (17) следует

 

,

 

откуда и по формуле (9)

 

 

.

 

Отсюда при всех j = 1, 2,..., p следует

 

. (18)

 

Равенство (10) показывает, что МНК-оценки (18) некоррелированы и при этом .

Пример 2. Пусть , и . Тогда f ₀(x) = 1, f ₁(x) = x,

 

,

 

причем , так что имеет место ортогональное планирование. Поскольку

 

| X ₁|² = 1² + 1² + + 1² + 1² = 4,

 

,

 

то по формуле (18) получаем

 

,

.

 

Если планирование не является ортогональным, но матрицу X можно разбить на подматрицы: X = (X ₁ X ₂... X _l) так, что будет (i < j; i, j = 1, 2,..., l; O – нулевая матрица), то для оценок можно получить формулу, обобщающую формулу (18). Например, пусть имеет место случай l = 2, т. е.

 

,

 

где . Пусть β = (b₁ b₂... b _p) ^T, β ₁ = (b₁ b₂... b _q) ^T и β ₂ = (b _{q +1} b _{q +2}... b _p) ^T, тогда .

В п. 3 было доказано, что МНК-оценка вектора удовлетворяет нормальному уравнению (8), поэтому имеем , или, поскольку ,

 

.

 

Отсюда следует , , и, таким образом, получаем формулы

 

, . (18´)

 

Пример 3. Пусть заданы , и вектор-столбец наблюдений .

Тогда f_j (x) = x_j (j = 1, 2, 3, 4), следовательно, . Полагая , где , , имеем , , .

По формулам (18´) находим

 

,

.

 

8. Оценивание параметров модели при повторных наблюдениях. Пусть задана функция отклика, определенная в области G: . Вве­дем в рассмотрение вектор-функцию f = (f ₁, f ₂,..., f_p) (отождествляемую, как обычно, с одностолбцовой матрицей (f ₁ f ₂... f_p) ^T ). Тогда функцию отклика можно записать в матричном виде

 

.

 

Пусть также задан план, спектр которого m ₁, m ₂,..., m_n (m_i – число наблюдений в точке x _i).

Наблюдения в одной точке называют повторными. Матрица плана при наличии повторных наблюдений имеет вид , где каждый блок – матрица размера , имеющая одинаковых строк. Вектор-столбец наблюдений можно записать в виде , где блок соответствует матрице .

Матрица планирования также может быть записана в блочном виде: , где – матрица размера (i = 1, 2,..., n). Отсюда где

,

 

так что и, следовательно,

 

. (19)

 

Определим теперь матрицы

 

, .

 

Матрица состоит из строк матрицы , отвечающих различным точкам плана.

Легко убедиться, что . Отсюда и из (19) следует матричное равенство

 

. (20)

 

Обозначим (среднее значение повторных наблюдений в точке , i = 1, 2,..., n), тогда получаем

 

 

,

 

где обозначено .

Используя этот результат и формулы (9) и (20), получаем .

Если, в частности, , при всех i = 1, 2,..., n, то и тогда имеем .

 

Пример. Пусть даны функция отклика и матрица плана

.

Знаком «» указаны наблюдения в соответствующих точках плана. Здесь , а значит, .

Имеем , , , где ; . Следовательно, = = .

 

 

§ 2. Доверительные интервалы для параметров функции отклика и гипотеза адекватности

 

1. Дополнительные сведения из дисперсионного анализа. В этом параграфе будет предполагаться, что наблюдения y_is (i = 1, 2,..., n; s = 1, 2,..., m_i) нормально распределены и при этом выполняются условия:

 

; , (1)

 

где , – матрица размера с одинаковыми строками (i =1, 2,..., n), β = (b₁ b₂... b _p) ^T и .

Из первого уравнения (1) получаем при всех i = 1, 2,..., n где обозначено . Следовательно, имеем

 

(i = 1, 2,..., n; s = 1, 2,..., m_l).

 

Положим , ( – произвольный вектор-столбец размерности p). Возведем в квадрат обе части тождества и просуммируем по s и по i. Получим

 

 

поскольку (i = 1, 2,..., n). Таким образом, имеем равенство

 

S ₀ = S ₁ + S ₂, (2)

 

где обозначено , , . Предположим теперь, что эти суммы получены при условии, что – МНК-оценка вектора β параметров функции отклика, найденная в п. 8 § 1, и введем в рассмотрение следующие величины

 

, , .

 

Можно доказать, что при сделанных предположениях эти величины обладают свойствами, аналогичными свойствам величин , и , установленным в пунктах 3 и 4 § 4 гл. 1. Именно, все они являются несмещенными оценками дисперсии s² и при этом случайные величины

 

, и

 

распределены по закону с числами степеней свободы соответственно N – p, n – p и N – n, причем две последние из них являются независимыми.

 

2. Доверительные интервалы для параметров функции отклика. Напомним (см. гл. 1, § 2, п. 1), что доверительным интервалом называют интервал, который с заданной надежностью g покрывает оцениваемый параметр.

Пусть – вектор-столбец МНК-оценок параметров функции отклика. Поскольку , где y – случайный вектор с независимыми компонентами, распределенными по нормальному закону, то все также распределены по нормальному закону. Так как МНК-оцен­ки являются несмещенными (см. § 1, п. 3), имеем (j = 1, 2,..., p). Кроме того, равенство (10) из п. 4 § 1 показывает, что , где – элемент матрицы . Значит, случайная величина

 

 

распределена по нормальному закону c параметрами Mx = 0 и Dx = 1. Обозначим также

 

,

 

где сумма S ₀ построена по оценкам так же, как в п. 1. Поскольку эта случайная величина распределена по закону χ² с числом степеней свободы N – p, случайная величина

 

(3)

 

распределена по закону Стьюдента с N – p степенями свободы.

При заданном g (0 < g < 1) по таблице для распределения Стьюдента можно найти число t _g, удовлетворяющее уравнению P (| t_N-p | < t _g) = g, так что с вероятностью g будем иметь , или, что равносильно,

 

,

 

откуда следует что – доверительный интервал для параметра с надежностью g.

 

Замечание. Случайная величина (3) может быть использована для проверки гипотезы H ₀ о том, что некоторый параметр функции отклика равен 0. Действительно, если эта гипотеза верна, то получаем

 

,

 

причем эта случайная величина должна распределяться по закону Стьюдента с N – p степенями свободы. При альтернативной гипотезе H_A: критическая область является двусторонней. Найдем для заданного уровня значимости a и числа степеней свободы N – p по таблице 4 правую критическую точку . Тогда имеем следующие возможности: , в этом случае нет оснований отвергать гипотезу H ₀; если же , то гипотеза H ₀ отвергается.

3. Проверка гипотезы адекватности модели. Пусть определенная в области G функция отклика

 

 

неизвестна, т. е. неизвестны функции и параметры b _j, и задан спектр плана: ; , где . Если – повторные наблюдения в точке x _i (i = 1, 2,..., n), то матрица плана имеет вид , где – матрица размера , строки которой одинаковы, и – вектор-столбец наблюдений в точке x _i, соответствующий матрице (это соответствие показано стрелками).

Положим

 

, (4)

 

где – заданные функции.

Гипотезу H ₀ о том, что при всех x Î G выполняется равенство , называют гипотезой адекватности регрессионной модели или функции отклика (4). Она проверяется при альтернативной гипотезе H _А: .

Если гипотеза H ₀ верна, то МНК-оценка функции отклика равна

.

 

Пусть и (i = 1, 2,..., n). Рассмотрим суммы

 

,

 

, где .

 

Как доказано в п. 1, для таких сумм имеет место равенство (2). Заметим также, что сумма S ₁ должна, очевидно, быть небольшой, если модель адекватна, так что ее величина является характеристикой степени адекватности; сумма S ₂ связана с дисперсией ошибок наблюдения, поэтому ее называют ошибкой эксперимента. Обозначим

 

, .

 

Если гипотеза H ₀ верна, то эти величины совпадают соответственно с величинами и , рассмотренными в п. 1, значит, случайные величины

 

и

 

независимы и распределены по закону с числами степеней свободы соответственно и N – n. Отсюда следует, что если основная гипотеза верна, то случайная величина

 

имеет распределение Фишера с и N – n степенями свободы.

Вычислив и найдя по таблице распределения Фишера по уровню значимости a и степеням свободы n – p ₀ и N – n , получаем следующие возможности:

, в этом случае нет оснований отвергать основную гипотезу;

, тогда основную гипотезу отвергаем.

 

Если гипотеза H ₀ отвергается, модель (4) считается неадекватной и приходится выбирать другую модель. Выбор новой модели зависит от характера задачи, стоящей перед исследователем. Может возникнуть необходимость в проведении дополнительных наблюдений для проверки новой гипотезы.

 

 

§ 3. Полные факторные эксперименты типа 2 ^k.