Обобщенная линейная модель множественной регрессии. (Лекция 3)

1.

Обобщенная линейная модель
множественной регрессии.
Обобщенный метод наименьших
квадратов (ОМНК)

2. Обобщенная линейная модель множественной регрессии

Линейная модель множественной регрессии
(1)
Y X ,
для которой нарушено 4 или 5 условие Гаусса-Маркова называется
обобщенной линейной моделью множественной регрессии (ОЛММР), а
именно:
1) х1,…,хк – детерминированные переменные;
2) ранг матрицы Х равен "к+1" – среди признаков нет линейно
зависимых;
3) M i 0 , i 1, n - нет систематических ошибок в измерении у;
4) D i M i2 i 2 , i 1, n
5) cov( i , j ) M ( i j ) 0 , i j , i 1, n j 1, n
T
4') M 0 2 0 , 0 - положительно-определенная, симметричная
матрица

3. Свойства МНК-оценок для обобщенной линейной модели множественной регрессии

T
1 T
Оценка b ( X X ) X Y
1. Оценка b по-прежнему несмещенная
b ( X T X ) 1 X T Y ( X T X ) 1 X T ( X ) ( X T X ) 1 X T
Mb M ( ( X T X ) 1 X T ) ( X T X ) 1 X T M
2. Оценка b состоятельная.
3. Однако полученная ранее формула для ковариационной
матрицы вектора оценок b оказывается неприемлемой в условиях
обобщенной модели:
T
1
T
T
1
T
T
T
1
T
T
T
1
M
[((
X
X
)
X
)((
X
X
)
X
)
)]
M
[(
X
X
)
X
(
X
X
)
]
b
2
( X T X ) 1 X T M ( T ) X ( X T X ) 1 ( X T X ) 1 X T 0 0 X ( X T X ) 1
в то время как для классической модели
b
2 ( X T X ) 1

4. Свойства МНК-оценок для обобщенной линейной модели множественной регрессии

T
1 T
Оценка b ( X X ) X Y
1. Оценка b по-прежнему несмещенная
b ( X T X ) 1 X T Y ( X T X ) 1 X T ( X ) ( X T X ) 1 X T
Mb M ( ( X T X ) 1 X T ) ( X T X ) 1 X T M
2. Оценка b состоятельная.
3. Однако полученная ранее формула для ковариационной
матрицы вектора оценок b оказывается неприемлемой в условиях
обобщенной модели:
T
1
T
T
1
T
T
T
1
T
T
T
1
M
[((
X
X
)
X
)((
X
X
)
X
)
)]
M
[(
X
X
)
X
(
X
X
)
]
b
2
( X T X ) 1 X T M ( T ) X ( X T X ) 1 ( X T X ) 1 X T 0 0 X ( X T X ) 1
в то время как для классической модели
b
2 ( X T X ) 1

5. Свойства МНК-оценок для обобщенной линейной модели множественной регрессии

T
1 T
Оценка b ( X X ) X Y
1. Оценка b по-прежнему несмещенная
b ( X T X ) 1 X T Y ( X T X ) 1 X T ( X ) ( X T X ) 1 X T
Mb M ( ( X T X ) 1 X T ) ( X T X ) 1 X T M
2. Оценка b состоятельная.
3. Однако полученная ранее формула для ковариационной
матрицы вектора оценок b оказывается неприемлемой в условиях
обобщенной модели:
T
1
T
T
1
T
T
T
1
T
T
T
1
M
[((
X
X
)
X
)((
X
X
)
X
)
)]
M
[(
X
X
)
X
(
X
X
)
]
b
2
( X T X ) 1 X T M ( T ) X ( X T X ) 1 ( X T X ) 1 X T 0 0 X ( X T X ) 1
в то время как для классической модели
b
2 ( X T X ) 1

6. Обобщенный метод наименьших квадратов

7. Обобщенный метод наименьших квадратов

8. Обобщенный метод наименьших квадратов

9. Обобщенный метод наименьших квадратов

Матрица 0 как симметричная матрица может быть
T
представлена как произведение двух матриц: 0 CC
1. C 1 0 (C T ) 1
1
T 1 1
2. 0 (C ) C (учитывая свойства обратных матриц)
Умножив обе части обобщенной регрессионной модели
матрицу C 1 слева, получим:
Y X
С 1Y С 1 X С 1
Yпр X пр пр
на

10.

Модель Yпр Xпр пр удовлетворяет требованиям КЛММР:
T
M ( пр пр
) M (C 1 T (C T ) 1 ) C 1M T (C T ) 1 02C 1 0 (C T ) 1 02
Yпр X пр пр - является КЛММР
bÎ Ì Í Ê ( X ïTð X ï ð ) 1 X ïTð Yï ð ( X T (C T ) 1 X ) 1 X T (C T ) 1 C 1Y
( X T 0 1 X ) 1 ( X T 0 1Y )

11.

bОМНК 02 ( X прT X пр ) 1 02 ( X T 0 1 X ) 1
S
2
î ñò ( Î Ì Í Ê )
1
(Yï ð X ï ð bOMHK ) T (Yï ð X ï ð bOMHK ) (Y XbOMHK ) T 0 1 (Y XbOMHK )
n k 1
T 1
e
0 e
ˆR 2 1
(Y Ycp ) T 0 1 (Y Ycp )