Линейная модель множественной регресии

1.

2. Линейная модель МР

2.

Модель множественной регресии (МР)
1) M (Y x1 , x2 ,..., x p ) f x1 , x2 ,..., x p
2)
3)
y f x1 , x2 ,..., x p
y 0 1x1 2 x2 ... p x p
0 x0 1 фиктивная переменная

3.

Матричная запись
Y X
Y [ y1 , y2 ,..., yn ]'
1
1
X
1
x11
x21
xn1
x12 x1 p
x22 x2 p
xn 2 xnp
[ 0 , 1 , 2 ,..., p ]'
[ 1 , 2 ,..., n ]'

4.

Выборочная модель МР
1) y b0 b1x1 b2 x2 ... b p x p e
2)
y b0 b1x1 b2 x2 ... b p x p

5.

Матричная запись
Y XB E
Y XB
B [b0 , b1 , b2 ,..., bp ]'
E [e1 , e2 ,..., en ]'

6.

Число степеней свободы:
n p 1
Рекомендация:
n 3( p 1)
Целесообразно:
объем выборки должен быть в 6-7 раз
больше числа независимых переменных.

7.

Классическая нормальная линейная модель МР при
выполнении требований
1. Независимые переменные – величины
неслучайные, возмущения - есть СВ.
2. МО возмущений равны 0.
3. Дисперсия возмущений постоянна
(условие гомоскедастичности).

8.

Классическая нормальная линейная модель МР при
выполнении следующих требований
4. Отсутствие автокорреляции в возмущениях и
их некоррелированность со всеми НП.
5. Возмущения распределены по
нормальному закону.
6. Отсутствие мультиколлинеарности (между
НП отсутствует сильная линейная связь).

9.

Для классической нормальной
линейной модели МР МНК-оценки
параметров модели имеют
наименьшую дисперсию в классе
линейных несмещенных оценок

10.

2. Оценка параметров линейной
модели МР

11. Метод наименьших квадратов

Оценки параметров ЛММР согласно МНК
будем искать из условия:
Q
2
ei
yi b 0 b1 x1 b2 x2 b p x p
2
min
Условиями минимума функции являются
равенство нулю первых производных по
коэффициентам УМР.

12.

Матричный метод
1)
B X ' X X ' Y
1
1
A X' Y
2)
3)
A X' X
Rank (X) p 1 n

13.

Гомоскедастичность
1) D (
)
D
(
)
для
i
j
любых
iи j
Гетероскедастичность
2)
D( i ) D( j ) для
любых
iи j

14. Понятие автокорреляции

15.

Обобщенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не выполняется
предпосылка о гомоскедастичности и
некорелированности случайных возмущений, то
наилучшей линейной процедурой оценки параметров
модели является:
b X P X X P Y
T
1
1
T
1
Р - матрица ковариаций случайных возмущений
(положительно определенная матрица)

16.

Взвешенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не
выполняется предпосылка о гомоскедастичности
случайных возмущений, то наилучшей линейной
процедурой оценки параметров модели является:
b X P X X P Y
T
1
1
T
1
Р - матрица ковариаций случайных возмущений :
2
e1
0
P
...
0
0
e
2
2
...
0
...
0
...
...
2
... en
...
0

17.

Взвешенный метод наименьших квадратов

18. Мультиколлинеарность (МТК) – это явление высокой взаимной коррелированности НП.

Два вида МТК:
1) совершенная (строгая, полная)
2) несовершенная (частичная)
Полная МТК при наличии функциональных
связей между НП.
Это нарушение требования к рангу матрицы:
1)
rank X p 1
2)
det X X 0
'
B X' X X' Y
1

19. Последствия МТК:

Оценки коэффициентов УМР ненадежны
и неустойчивы (увеличиваются
стандартные ошибки оценок и
уменьшаются t-статистики МНК-оценок)
МНК-оценки коэффициентов
неустойчивы (чувствительны к
изменениям данных и размерности
выборки)
Возможность получения неверного
знака у коэффициентов регрессии

20. Последствия МТК:

Оценки коэффициентов УМР становятся
очень чувствительными к ошибкам спец.
Осложнение процесса определения
наиболее существенных факторов
Затрудняет экономическую интерпретацию
коэффициентов УМР (выделение
характеристик влияния факторов на ЗП в
чистом виде)
ОДНАКО:
Оценки коэффициентов остаются
несмещенными
Оценки коэффициентов немультикол.
факторов не ухудшаются

21. Причины возникновения МТК:

НП характеризуют одну и туже сторону
экон. процесса
Использование в модели НП, суммарное
значение которых есть постоянная
величина
НП, являющиеся элементами друг друга
НП могут иметь общий временный тренд,
относительно которой они совершают
малые колебания
Наблюдается фиктивная (ложная) линейная
связь.

22. Методы устранения мультиколлинеарности

Переход к смещенным методам оценивания
«Ридж – регрессия» («гребневая регрессия»)
B X' X I p 1 X' Y
1
0 0.1 0.4

23.

Регрессия на главных компонентах

24.

25. Тема №1. Линейные эконометрические модели

4. Оценивание параметров ЭМ
с учетом ограничений

26.

Ограничения
1)
bi 0
2)
RB r
3)
b2 b3
0
r
2
b2 b3 2b4 2
0 1 1 0
R
0 1 1 2

27.

Целевая функция
n 2
1) min bi e j (Y XB)' (Y XB)
j 1
при ограничениях
2)
bi min b3 bi max ,
bi min
3)
RB r
1 T
T
b b X X R
R X
T
X R
1
T
r Rb
1

28. Тема №1. Линейные эконометрические модели

5. Проверка качества линейных
моделей МР
(самостоятельная проработка)

29.

Проверка статических гипотез
Виды статистических гипотез:
1) Нулевые (основные);
2) альтернативные (конкурирующие).
Нулевая гипотеза H0 - проверяемая
гипотеза
Альтернативная гипотеза H1 - гипотеза,
которая противоречит нулевой.

30.

Проверка статических гипотез
Ошибка первого рода – отвергается
нулевая гипотеза, когда она верна.
Обозначают и наз. уровнем
значимости (размером критерия)
Ошибка второго рода –принимается
нулевая гипотеза, когда верна
альтернативная гипотеза.
Обозначают и вероятность 1- не
совершить ошибку второго рода наз.
мощностью критерия

31. Проверки статистических гипотез

Случайная величина К, построенная по
результатам наблюдений для проверки
нулевой гипотезы, наз. статистическим
критерием.
Основа схемы построения
статистического критерия – разделение
выборочного пространства на две
области:
1) область отклонения нулевой гипотезы
(критическая обл.)
2) область принятия нулевой гипотезы

32.

f ( k / H0 )
Статистическая проверка гипотез
f ( k / H0 )
Критическая
область
| Tнабл | t
Область принятия
k1кр гипотезы H0
k 2 кр

33.

Проверка статических гипотез
Статистический критерий
определяется заданием:
1) статистической гипотезы Н0;
2) уровня значимости ;
3) статистики критерия;
4) критической области.
Критерий наз. наиболее мощным, если
из всех критериев с заданным уровнем
значимости он обладает наибольшей
мощностью

34.

Два способа проверки гипотез:
1. Нахождением критических точек,
соответствующих заданным уровням
значимости .
2. Нахождением уровня значимости P
(значимой вероятности) , соответствующего
наблюдаемому значению статистического
критерия.
Если значимость P меньше заданного
стандартного уровня значимости , то
нулевая гипотеза отвергается в пользу
альтернативной.

35.

Общая схема проверки гипотез
1. Формулировка нулевой и альтернативной гипотез
2. Задается уровень значимости
3. Определение объема выборки n.
4. Выбор статистического критерия для проверки
нулевой гипотезы.
5. Определение критической области и области
принятия гипотезы.
6. Вычисление наблюдаемого значения
статистического критерия.
7. Принятие статистического решения.
Проверка гипотез при двусторонней КО тесно связано
с интервальным оцениванием.

36.

Два способа проверки гипотез:
1. Нахождением критических точек,
соответствующих заданным уровням
значимости .
2. Нахождением уровня значимости P
(значимой вероятности) , соответствующего
наблюдаемому значению статистического
критерия.
Если значимость P меньше заданного
стандартного уровня значимости , то
нулевая гипотеза отвергается в пользу
альтернативной.

37. Качество подгонки данных моделью

2
2
y i y yi y yi yi
Общая СумКО
(TSS)
df n 1
2
Факторная
СумКО (ESS)
df p
Остаточная СумКО
(RSS)
df n p 1

38.

Коэффициент множественной
детерминации
ESS
RSS
R
1
0,1
TSS
TTS
2
Коэффициенты R2 в разных моделях с
разным числом наблюдений (и переменных)
несравнимы

39.

Скорректированный коэффициент
множественной детерминации
1)
RSS / n p 1
R 1
1
TSS / n 1
2
2)
n 1
p
2
2
R 1 1 R
R
1 R
n p 1
n p 1
2
2
Скорректированные коэффициенты в разных
моделях с разным числом наблюдений (и
переменных) ограниченно сравнимы

40.

Множественный коэффициент корреляции
1)
R R 0,1
2)
R max{ryxi , i 1, p}
2

41.

Проверка значимости коэффициентов

42.

Проверка статических гипотез
Статистический критерий
определяется заданием:
1) статистической гипотезы Н0;
2) уровня значимости ;
3) статистики критерия;
4) критической области.

43.

f ( k / H0 )
Статистическая проверка гипотез
f ( k / H0 )
Критическая
область
| Tнабл | t
Область принятия
k1кр гипотезы H0
k 2 кр

44.

Проверка статических гипотез
Ошибка первого рода – отвергается
нулевая гипотеза, когда она верна.
Обозначают и наз. уровнем
значимости (размером критерия)
Ошибка второго рода –принимается
нулевая гипотеза, когда верна
альтернативная гипотеза.
Обозначают и вероятность 1- не
совершить ошибку второго рода наз.
мощностью критерия

45.

Проверка значимости коэффициент b0

46.

1)
H 0 : j 0; H1 : j 0
bj
t
b
j
2)
mb j
, j 0, p
3) mb j S e
z jj
2
S e y y x / n p 1
z jj диагональные элементы матрицы
Z zij
i , j 0, p
( X' X)
1

47.

Проверка значимости коэф. УМР
1) t t ; n p 1
bj
табл
- параметр значим
Общий случай
2) H 0 : b j j ; H1 : b j j
3) tb j
bj j
mb j
, j 0, p

48.

Вычисление критической точки РС
1
2
2
t kp
t kp
t

49.

Доверительный интервал
1)
b j b j j b j b j
2)
Предельная ошибка
b j t табл ; n p 1 mb j

50.

Односторонние проверка
значимости коэф. УМР
1) H 0 : b j j ;
2) tb j
bj j
mb j
H1 : b j j
, j 0, p
3) tb t табл 2 ; n p 1
j
- прин. H1

51.

Односторонние гипотезы
1)
H 0 : b j j ; H1 : b j j - правосторонняя
2) H 0 : b j j ;
H1 : b j j
- левосторонняя
Если имеется информация о знаках коэф.
3)
Знак «+»
Знак «-»
H 0 : b j 0; H1 : b j 0
H 0 : b j 0; H1 : b j 0

52.

53.

Оценка значимости УМР
1) H 0 : Dфакт. Dост. H1 : Dфакт. Dост.
2) F
Dфакт.
Dост.
Dфакт.
ESS
p
~ F ( 1 p; 2 n p 1)
Dост.
RSS
n p 1
3) F Fтабл ; p; n p 1 модель значима

54.

Тестирование одного линейного
ограничения
1)
1 2 ... k 1
Общий случай
2) r1 1 r2 2 ... rk k r β
T
H0:r β q
H1: r β q
T
r b q
4) tнабл
T T 1
Se r ( x x) r
T
T
tнабл tтабл ; n k
- прин. H1

55.

Анализ значимости коэффициента
множественной детерминации
H1 : R 0
1)
H0 : R 0
2)
R2
n p 1
F
2
1 R
p
2
3) F Fтабл ; p; n p 1
2
- модель значима

56.

Вычисление критической точки РФ
для правосторонней критической области
Fкр
Fкр Fтабл ; p; n p 1

57.

Определение точности РМ
Меры точности РМ:
1. Средняя квадратическая ошибка остаточной
компоненты на 1 степень свободы (стандартная
ошибка регрессии RMSE)
2
RMSE S e y y x / n p 1
Основная величина для измерения качества модели
(чем она меньше, тем лучше)
Значения RMSE в однотипных моделях с разным
числом наблюдений и (или) переменных сравнимы

58.

Определение точности РМ
2. Средняя относительная ошибка аппроксимации
Eотнос.
ei
1
100
n
yi
Eотнос. 5 7%
- хороший подбор РМ

59.

Типичные ошибки в использовании
показателей качества ПР

60.

61.

Конец лекции