Эконометрика. Множественный регрессионный анализ. (Тема 4)

1.

Эконометрика
Тема 4

2. Тема 4. Множественный регрессионный анализ.

1) Элементы линейной алгебры
2) Классическая нормальная линейная модель
множественной регрессии
3) Оценка параметров классической регрессионной модели
методом наименьших квадратов
4) Ковариационная матрица и ее выборочная оценка
5) Определение доверительных интервалов для
коэффициентов и функции регрессии
6) Оценка значимости множественной регрессии.
7) Коэффициент множественной детерминации и
скорректированный коэффициент множественной
детерминации
2

3.

1. Элементы линейной алгебры
Матрицей размера (m * n) или mn-матрицей называется
таблица чисел, содержащая m строк и n столбцов:
3

4.

1. Элементы линейной алгебры
Виды матриц (1):
- вектор-строка размера n
- вектор-столбец размера m
- квадратная матрица n-го порядка
4

5.

1. Элементы линейной алгебры
Виды матриц (2):
An=D - диагональная матрица:
An=En=E - единичная
матрица n-го порядка:
- нулевая матрица, или
нуль-матрица
5

6.

1. Элементы линейной алгебры
Операции над матрицами (1):
1. Равенство матриц:
2. Произведение матрицы на число:
3. Сумма двух матриц:
6

7.

1. Элементы линейной алгебры
Операции над матрицами (2):
4. Произведение двух матриц:
5. Транспонирование матриц:
7

8.

1. Элементы линейной алгебры
Операции над матрицами (3):
6. Свойства операции транспонирования:
- квадратные матрицы соответственно m-го и n-го порядков:
- квадратная матрица 1го порядка (т.е. число)
- квадратная матрица n-го порядка
8

9.

1. Элементы линейной алгебры
Определители квадратной матрицы 1-го, 2-го и 3-го
порядков:
9

10.

1. Элементы линейной алгебры
Определитель квадратной матрицы n-го порядка может
быть вычислен с помощью разложения по элементам
строки или столбца (теорема Лапласа):
10

11.

1. Элементы линейной алгебры
Свойства определителя:
11

12.

1. Элементы линейной алгебры
Следом квадратной матрицы A n-го порядка) называется
сумма ее диагональных элементов:
Свойства следа матриц:
12

13.

1. Элементы линейной алгебры
Матрица А называется невырожденной (неособенной),
если
. При
матрица А – вырожденная
(особенная).
Матрица А-1 называется обратной по отношению к
квадратной матрице А, если
Для существования обратной матрицы А-необходимо и
достаточно, чтобы матрица А была невырожденной
Обратную матрицу можно рассчитать как:
13

14.

1. Элементы линейной алгебры
Свойства обратной матрицы:
14

15.

1. Элементы линейной алгебры
Рангом матрицы А (rang A или r (A)) называется
наивысший порядок ее миноров, отличных от нуля.
Свойства ранга матрицы:
15

16.

1. Элементы линейной алгебры
Пусть строки матрицы А:
Строка е называется линейной комбинацией строк e1,
e2…, em матрицы, если
(*)
(равенство (*) понимается в смысле поэлементного
сложения строк, т. е. равенству (*) соответствует n
равенств для элементов строк с номерами 1,2,..., n)
(**)
16

17.

1. Элементы линейной алгебры
Если равенство (**) выполняется тогда и
только тогда, когда
, то
строки матрицы называются линейно
независимыми.
Ранг матрицы равен максимальному числу ее
линейно независимых строк или столбцов,
через которые линейно выражаются все
остальные ее строки (столбцы).
17

18.

1. Элементы линейной алгебры
Система m линейных уравнений с n переменными
имеет вид:
или в матричной форме:
(***)
18

19.

1. Элементы линейной алгебры
где
Если число уравнений равно числу переменных (m = n),
и квадратная матрица А – невырожденная (
), то
система (***) имеет единственное решение:
19

20.

1. Элементы линейной алгебры
Также решение системы (***), т.е. переменные x1, x2,
…, xn при m=n может быть найдено по формулам
Крамера:
где
- определитель матрицы А;
- определитель матрицы Aj, получаемой из
матрицы А заменой j-го столбца столбцом свободных
членов.
Система линейных однородных уравнений, т. е.
система АХ = 0 с нулевыми свободными членами,
имеет ненулевое решение тогда и только тогда, когда
матрица А – вырожденная (т.е. det A = 0) .
20

21.

1. Элементы линейной алгебры
n-мерный вектор - упорядоченная совокупность n
действительных чисел, записываемых в виде х = (х1,
х2,…, xn), где хi - i-я компонента вектора х
Операции над векторами:
Векторным (линейным) пространством называется
множество векторов (элементов) с действительными
компонентами, в котором определены операции
сложения векторов и умножения вектора на число,
удовлетворяющие следующим свойствам:
21

22.

1. Элементы линейной алгебры
Понятие линейной комбинации, линейной зависимости и
независимости векторов e1, e2,…, em аналогичны
соответствующим понятиям для строк матрицы e1, e2,…,
em.
Линейное пространство Rn называется n-мерным, если
в нем существует n линейно независимых векторов, а
любые из (n+1) векторов уже являются зависимыми.
Иначе, размерность пространства - это максимальное
число содержащихся в нем линейно независимых
22
векторов, т. е. dim(Rn) = n.

23.

1. Элементы линейной алгебры
Совокупность n линейно независимых векторов nмерного пространства Rn называется базисом.
Скалярным произведением двух векторов х = (x1,
x2,…, xn) и y = (y1, y2,…, yn) называется число:
Евклидовым пространством называется векторное
(линейное) пространство, в котором задано скалярное
произведение векторов, удовлетворяющее следующим
свойствам:
23

24.

1. Элементы линейной алгебры
Длиной (нормой) вектора х в евклидовом
пространстве называется корень квадратный из его
скалярного квадрата:
Два вектора называются ортогональными, если их
скалярное произведение равно нулю.
Векторы e1, e2,…, en n-мерного евклидова
пространства образуют ортонормированный базис,
или ортонормированную систему векторов, если
эти векторы попарно ортогональны и длина каждого
из них равна 1, т.е. если:
24

25.

1. Элементы линейной алгебры
Вектор
называется собственным вектором
квадратной матрицы А, если найдется такое число ,
что
Число
называется собственным значением
(собственным числом) матрицы А, соответствующим
вектору х.
Для существования ненулевого решения уравнения
необходимо и достаточно, чтобы
Определитель
- характеристический
многочлен матрицы А, а уравнение
характеристическое уравнение матрицы А.
-
Разным собственным значениям матрицы соответствуют
25
линейно независимые собственные векторы.

26.

1. Элементы линейной алгебры
Квадратная матрица А называется симметричной,
если
Симметричная матрица А n-го порядка называется
положительно (неотрицательно) определенной, если
для любого ненулевого вектора
выполняется неравенство:
Квадратная матрица С называется ортогональной, если
Симметричная матрица А называется идемпотентной,
если она совпадает со своим квадратом:
26

27.

2. Классическая нормальная линейная модель
множественной регрессии
Экономические явления, как правило, определяются
большим числом одновременно и совокупно
действующих факторов.
Классическая нормальная линейная модель
множественной регрессии:
(****)
где yi – i-е наблюдение зависимой переменной;
xi1, xi2, …, xip – i-е наблюдения объясняющих
переменных x1, x2, …, xp
p – количество объясняющих переменных;
ei – i-е возмущение
27

28.

3. Основные положения регрессионного анализа. Оценка
параметров парной регрессионной модели. Теорема
Гаусса—Маркова.
Предпосылки модели (****):
1) В модели (****) возмущение
(или yi) – величина
случайная, а xi - величины неслучайные;
2) Математическое ожидание возмущения равно нулю:
;
3) Дисперсия возмущения (или yi) постоянна для любого i:
или
4) Возмущения
;
и
(или переменные yi и yj) не
коррелированы:
;
5) Возмущение
(или зависимая переменная yi) есть
нормально распределенная случайная величина;
6) Невырожденность матрицы (независимость столбцов)
значений объясняющих переменных.
28

29.

2. Классическая нормальная линейная модель
множественной регрессии
Модель (****) в матричной форме:
где
- вектор значений зависимой
переменной размера n
- матрица значений
объясняющих переменных
размера n*(p+1), p – количество
объясняющих переменных
- вектор параметров размера (p+1)
- вектор возмущений (случайных
ошибок, остатков) размера n
29

30.

2. Классическая нормальная линейная модель
множественной регрессии
Оценка модели (****) по выборке:
где
30

31.

3. Оценка параметров классической регрессионной модели
методом наименьших квадратов
Оценка параметров классической модели
множественной линейной регрессии производится
методом наименьших квадратов (МНК) аналогично
оценке параметров модели парной линейной регрессии
(вопросы 2-3 темы 3), но в матричной форме:
Теорема Гаусса—Маркова для множественной
регрессии: При выполнении предпосылок 1)-6)
множественного регрессионного анализа оценка МНК
является наиболее эффективной, т. е.
обладает наименьшей дисперсией в классе линейных
несмещенных оценок (Best Linear Unbiased Estimator
или BLUE)
31

32.

3. Оценка параметров классической регрессионной модели
методом наименьших квадратов
Стандартизированные коэффициенты
регрессии (бета-коэффициенты) и
коэффициенты эластичности:
32

33.

4. Ковариационная матрица и ее выборочная оценка
Вариации оценок параметров будут определять
точность уравнения множественной регрессии.
Для их измерения в многомерном регрессионном
анализе рассматривают ковариационную матрицу
вектора оценок параметров
,являющуюся
матричным аналогом дисперсии одной переменной:
- где элементы
- ковариации оценок
параметров и
.
33

34.

4. Ковариационная матрица и ее выборочная оценка
Оценка ковариационной матрицы вектора оценок
параметров:
где
- дисперсия возмущения постоянная
для любого i.
При этом несмещенная оценка
остаточная дисперсия:
- выборочная
34

35.

5. Определение доверительных интервалов для
коэффициентов и функции регрессии
Оценка значимости коэффициента
множественной регрессии bj:
Проводится аналогично оценке значимости
коэффициентов парной линейной регрессии:
, то гипотеза
если
отвергается на уровне
значимости
При этом среднее квадратическое
отклонение коэффициента
регрессии:
Табличное значение
t-критерия Стьюдента для уровня
значимости
при числе степеней
свободы k = n – p – 1:
35

36.

5. Определение доверительных интервалов для
коэффициентов и функции регрессии
Доверительный интервал для параметра
:
(трактовка аналогична случаю парной линейной
регрессии)
Доверительный интервал для
:
где
групповая средняя, определяемая по
уравнению регрессии;
- стандартная ошибка
36

37.

6. Оценка значимости множественной регрессии.
Оценка значимости уравнения множественной
регрессии:
Проводится аналогично оценке значимости уравнения
парной линейной регрессии:
Уравнение множественной регрессии значимо (т.е.
гипотеза
отвергается), если:
где Qe=
, QR=
,
значение F-критерия Фишера-Снедекора
- табличное
37

38.

7. Коэффициент множественной детерминации и
скорректированный коэффициент множественной
детерминации
Коэффициент детерминации показывает долю
вариации зависимой переменной, обусловленной
регрессией или изменчивостью объясняющих
переменных:
Чем ближе R2 к единице, тем лучше регрессия
описывает зависимость между объясняющими и
зависимой переменными.
38

39.

7. Коэффициент множественной детерминации и
скорректированный коэффициент множественной
детерминации
Недостаток коэффициента детерминации – его
увеличение при добавлении новых объясняющих
переменных, хотя это и не обязательно означает
улучшение качества регрессионной модели.
Поэтому для множественной регрессии
предпочтительнее использовать скорректированный
коэффициент детерминации:
39

40. Вопросы изученные в Теме 4:

1) Элементы линейной алгебры
2) Классическая нормальная линейная модель
множественной регрессии
3) Оценка параметров классической регрессионной модели
методом наименьших квадратов
4) Ковариационная матрица и ее выборочная оценка
5) Определение доверительных интервалов для
коэффициентов и функции регрессии
6) Оценка значимости множественной регрессии.
7) Коэффициент множественной детерминации и
скорректированный коэффициент множественной
детерминации
32