Множественная регрессия и корреляция. Лекция №3

1.

Лекция № 3
множественная
регрессия и
корреляция.

2.

• Уравнение множественной регрессии
y a b1 x1 b2 x2 ... b p x p

3.

Основная
регрессии
цель
множественной
– построить модель с большим числом
факторов, определив при этом влияние
каждого из них в отдельности, а также
совокупное
их
воздействие
на
моделируемый показатель.

4.

например
• Современная потребительская функция
чаще всего рассматривается как модель
вида
С f ( y , P, M , Z ) ,
• С – потребление;
• у – доход;
• P – цена,
• M – наличные деньги;
• Z – ликвидные активы;

5.

Построение
уравнения
множественной
регрессии
начинается с решения вопроса о
спецификации модели.

6.

Условия включения факторов при
построении множественной регрессии.
• 1. факторы должны быть
количественно измеримы.

7.

• 2. Факторы не должны быть
интеркоррелированы.

8.

• Если между факторами существует высокая
корреляция, то параметры уравнения
регрессии оказываются
неинтерпретируемыми.

9.

• Пусть в уравнении
y a b1 х1 b2 х 2
rx1x 2 0.

10.

Если же rx1x 2 1
то b1 , b2 нельзя интерпретировать как
показатели раздельного влияния x1 и x 2
на у .

11.

Пример.
• Рассмотрим регрессию себестоимости:
единицы
продукции
(руб.,у)
от
заработной платы работника (руб., x) и
производительности его труда (единиц в
час, z ):
y 22600 5 x 10 z
rxz = 0,95

12.

Отбор факторов при построении
множественной регрессии.

13.

• 2 этапа отбора факторов:
– факторы подбираются исходя из сущности проблемы;
– на основе корреляционной матрицы производится
исключение части факторов
• 1) проверка парной корреляции,
• 2) оценка мультиколлинеарности факторов:
– Проверка гипотезы H0: Det R=1

14.

Пути преодоления сильной
межфакторной корреляции
• Исключение одного или нескольких факторов
• Преобразование факторов для уменьшения
корреляции между ними
– Переход к первым разностям
– Переход к линейным комбинациям (метод главных
компонент)
• Переход к совмещенным уравнениям
регрессии
• Переход к уравнениям приведенной формы

15.

• Предпочтение отдается не фактору,
более тесно связанному с
результатом, а тому фактору,
который при достаточной тесной
связи с результатом имеет
наименьшую тесноту связи с
другими факторами.

16.

• Пусть,
например,
при
изучении
зависимости
матрица парных
коэффициентов корреляции оказалась
следующей:

17.

y
x
z
v
y
x
0,8
1
0,7
0,8
1
0,6
0,5
0,2
z
v
1
1

18.

пример
y
y
x
z
v
x
z
v
1
0,3
1
0,7
0,75
1
0,6
0,5
0,8
1

19.

• Для оценки мультиколлинеарности
факторов
может
использоваться
определитель
матрицы
парных
коэффициентов
корреляции между
факторами.

20.

• Если бы факторы не коррелировали между
собой, то матрица парных коэффициентов
корреляции была бы единичной матрицей т.е.
rx1x1
Det R rx1x2
rx1x3
rx2 x1
rx 2 x 2
rx2 x3
rx3 x1
1 0 0
rx3 x2 0 1 0 1,
rx3 x3
0 0 1

21.

• Если же, наоборот, между факторами
существует полная линейная
зависимость и все коэффициенты
корреляции равны единице, то
определитель такой матрицы равен нулю:
1
Det R 1
1
1
1
1 0.
1
1
1

22.

• Таким образом,
• чем ближе к нулю определитель
матрицы межфакторной корреляции,
тем сильнее мультиколлинеарность
факторов и ненадежнее результаты
множественной регрессии.

23.

• Через коэффициенты множественной
детерминации можно найти
переменные, ответственные за
мультиколлинеарность факторов.

24.

• Сравнивая между собой
коэффициенты множественной
детерминации факторов
2
2
R x x , x ... x ; R x x x ... x ;
1 2 3
p
2 1 3
p
• оставляем в уравнении факторы с
минимальной величиной
коэффициента множественной
детерминации.

25.

• При дополнительном включении в
регрессию р+1 фактора коэффициент
детерминации должен возрастать, а
остаточная дисперсия уменьшаться;
R
2
p 1
R
2
p
и
S
2
p 1
2
p
S .

26.

• Пусть для регрессии, включающих пять
факторов, коэффициент детерминации
составил 0,857
включение шестого фактора дало
коэффициент детерминации
0,855,
вряд ли целесообразно дополнительно
включать в модель этот фактор.

27.

Оценка параметров уравнения
множественной регрессии
• Метод:
– а) метод наименьших квадратов (МНК)
– б) метод наименьших квадратов (МНК) для
стандартизованного уравнения

28.

• В линейной множественной регрессии
y x a b1 x1 b 2 x 2 ... b p x p
параметры при переменной x называются
коэффициентами «чистой» регрессии.
Они характеризуют среднее изменение
результата с изменением соответствующего
фактора на единицу при неизменном
значении других факторов, закрепленном на
среднем уровне.

29.

• уравнение регрессии в стандартизованном
виде:
t y 1 t x1 2 t x2 b p t x p

30.

Где t y , yx , , t x
переменные
1
xi xi
t xi
,
xi
Свойства:
p
-стандартизованные
y y
ty
y
t y t xi 0,
t y t x 1;
i -стандартизованные коэффициенты
регрессии.

31.

• Стандартизованные коэффициенты регрессии
показывают, на сколько % изменится в среднем
результат, если соответствующий фактор xi
изменится на 1 % при неизменном среднем
уровне других факторов.

32.

• Стандартизованные коэффициенты регрессии
i сравнимы между собой.
• Связь между «чистыми» и
«стандартизованными» коэффициентами
регрессии
y
bi i
xi

33.

• Пример. Пусть функция издержек
производства y(тыс. руб.)
характеризуется уравнением вида
y 200 1,2 x1 1,1 x2
• x1 - основные производственные
фонды(тыс.руб.)
• х2 - численность занятых в
производстве(чел.)

34.

• уравнение регрессии в стандартизованном
виде выглядит так
t y 0,5 t x1 0,8 t x 2 .
• Вывод:

35.

• Достоинство стандартизованных
коэффициентов регрессии:
использовать при отсеве факторов – из
модели исключаются факторы с
наименьшим значением j