688.27K

Категория: $Математика$ Математика

Похожие презентации:

Множественная регрессия с двумя независимыми переменными

Парная линейная регрессия. Оценивание по МНК коэффициентов регрессии

Нелинейная регрессия

Модель простой линейной регрессии

Множественная линейная регрессия

Расчет коэффициентов регрессии (МНК)

Модель парной линейной регрессии

Линейная модель множественной регрессии, оценка ее параметров. (Тема 3)

Линейная множественная регрессия

Линейная парная регрессия

Вычисление линейных коэффициентов регрессии

1.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y 1 2 X u
Y
6
Y3
Y2
5
4
3
Y1
2
1
0
0
1
2
3
X
Эта презентация показывает, как рассчитываются коэффициенты регрессии для
простой модели регрессии, используя критерий наименьших квадратов (OLS,
обычный метод наименьших квадратов)
1

2.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y 1 2 X u
Y
6
Y3
Y2
5
4
3
Y1
2
1
0
0
1
2
3
X
Начнем с численного примера, имеющего всего три наблюдениями: (1,3), (2,5) и (3,6).
2

3.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y
Y 1 2 X u
6
Расчетная модель
Yˆ3 b1 3b2
Yˆ b1 b2 X
5
Y3
Y2
Yˆ2 b1 2b2
4
Yˆ1 b1 b2
3
Y1
2
b1
b2
1
0
0
1
2
3
X
^
Написав установленную регрессию как Y = b1 + b2X, мы определим значения b1 и
b2 так, чтобы минимизировать RSS, сумму квадратов остатков.
3

4.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y
Y 1 2 X u
6
Расчетная модель
Yˆ b1 b2 X
5
Yˆ3 b1 3b2
Y3
Y2
Yˆ2 b1 2b2
4
Yˆ1 b1 b2
3
e1 Y1 Yˆ1 3 b1 b2
e2 Y2 Yˆ2 5 b1 2b2
Y1
2
b1
b2
e3 Y3 Yˆ3 6 b1 3b2
1
0
0
1
2
3
X
Учитывая наш выбор b1 и b2, остатки показаны на рисунке.
4

5.

6.

7.

8.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
RSS
0 12b1 28b2 62 0
b2
Как минимум, частные производные RSS по отношению к b1 и b2 должны быть равны
нулю. (Мы также должны проверить условие второго порядка.)
8

9.

10.

11.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y
Y 1 2 X u
6
Расчетная модель
Yˆ b1 b2 X
5
Yˆ3 b1 3b2
Y3
Y2
Yˆ2 b1 2b2
4
Yˆ1 b1 b2
3
Y1
2
b1
b2
1
0
0
1
2
3
X
Это диаграмма дисперсии (рассеяния).
11

12.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y
Y 1 2 X u
6
Расчетная модель
Yˆ 1.67 1.50 X
5
Yˆ3 6.17
Y3
Y2
Yˆ2 4.67
4
Yˆ1 3.17
3
Y1
2
b1
b2
1
0
0
1
2
3
X
Показаны расчетная линия и расчетные значения Y.
12

13.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
RSS
0 12b1 28b2 62 0
b2
b1 1.67, b2 1.50
Прежде чем перейти к общему случаю, нужно сделать небольшое, но важное
математическое замечание.
13

14.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
RSS
0 12b1 28b2 62 0
b2
b1 1.67, b2 1.50
Когда мы устанавливаем выражение для RSS, мы делаем это как функцию от b1 и b2.
На этом этапе b1 и b2 не являются конкретными значениями. Наша задача - определить
конкретные значения, которые минимизируют RSS.
14

15.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
RSS
0 12b1 28b2 62 0
b2
b1 1.67, b2 1.50
Мы должны дать этим значениям собственные названия, чтобы отличать их от всех
остальных.
15

16.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1OLS 12b2OLS 28 0
b1
RSS
0 12b1OLS 28b2OLS 62 0
b2
b1OLS 1.67, b2OLS 1.50
Обозначим значения, которые минимизируют RSS, следующим образом: b1OLS and
b2OLS.
16

17.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Yn
Y1
X1
Xn
X
Теперь мы перейдем к общему случаю с n наблюдениями.
17

18.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
b1
b2
Yˆ1 b1 b2 X 1
X1
Xn
X
Учитывая коэффициенты b1 и b2, на слайде мы получили расчетную линию.
18

19.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
e1 Y1 Yˆ1 Y1 b1 b2 X 1
Yˆ1 b1 b2 X 1
.....
e1
b1
b2
X1
en Yn Yˆn Yn b1 b2 X n
Xn
X
Получен остаток для первого наблюдения.
19

20.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
en
Yˆn b1 b2 X n
Yn
Y1
e1 Y1 Yˆ1 Y1 b1 b2 X 1
Yˆ1 b1 b2 X 1
.....
e1
b1
b2
en Yn Yˆn Yn b1 b2 X n
X1
Xn
X
Аналогично мы определяем остатки для остальных наблюдений.
20

21.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS e12 ... en2 (Y1 b1 b2 X 1 ) 2 ... (Yn b1 b2 X n ) 2
Y12 b12
...
b22 X 12
2b1Y1
2b2 X 1Y1
2b1b2 X 1
b22 X n2
2b1Yn
2b2 X nYn
2b1b2 X n
Yn2 b12
Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS, сумма квадратов остатков, определена для общего случая. Для сравнения
приведены данные численного примера.
21

22.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS e12 ... en2 (Y1 b1 b2 X 1 ) 2 ... (Yn b1 b2 X n ) 2
Y12 b12
...
b22 X 12
2b1Y1
2b2 X 1Y1
2b1b2 X 1
b22 X n2
2b1Yn
2b2 X nYn
2b1b2 X n
Yn2 b12
Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
Раскрываем скобки, возведя соответствующие выражения в квадрат.
22

23.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS e12 e22 e32 ( 3 b1 b2 ) 2 (5 b1 2b2 ) 2 (6 b1 3b2 ) 2
9 b12
b22 6b1 6b2 2b1b2
25 b12 4b22 10b1 20b2 4b1b2
36 b12 9b22 12b1 36b2 6b1b2
70 3b12 14b22 28b1 62b2 12b1b2
RSS e12 ... en2 (Y1 b1 b2 X 1 ) 2 ... (Yn b1 b2 X n ) 2
Y12 b12
...
b22 X 12
2b1Y1
2b2 X 1Y1
2b1b2 X 1
b22 X n2
2b1Yn
2b2 X nYn
2b1b2 X n
Yn2 b12
Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
Приводим подобные члены.
23

24.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
В этом уравнении наблюдения по X и Y являются просто данными, которые
определяют коэффициенты в выражении для RSS.
24

25.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
Переменными в уравнении для RSS являются b1 и b2. Обычно b1 and b2 являются
константами, а X и Y - переменными.
25

26.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
Если есть сомнения, то можно сравнить общий случай с нашим конкретным
примером.
26

27.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS
0 2nb1 2 Yi 2b2 X i 0
b1
Первая производная по b1.
27

28.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS
0 2nb1 2 Yi 2b2 X i 0
b1
nb1 Yi b2 X i
b1 Y b2 X
Получаем окончательное выражение для b1 .
28

29.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS 70 3b12 14b22 28b1 62b2 12b1b2
RSS
0 6b1 12b2 28 0
b1
} b1 1.67, b2 1.50
RSS
0 12b1 28b2 62 0
b2
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS
0 2nb1 2 Yi 2b2 X i 0
b1
nb1 Yi b2 X i
b1 Y b2 X
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
Первая производная по b2.
29

30.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
b2 X i2 X iYi b1 X i 0
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS
0 2nb1 2 Yi 2b2 X i 0
b1
nb1 Yi b2 X i
b1 Y b2 X
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
Разделим на 2.
30

31.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
b2 X i2 X iYi b1 X i 0
b2 X i2 X iYi (Y b2 X ) X i 0
RSS Yi 2 nb12 b22 X i2 2b1 Yi 2b2 X iYi 2b1b2 X i
RSS
0 2nb1 2 Yi 2b2 X i 0
b1
nb1 Yi b2 X i
b1 Y b2 X
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
Теперь заменим b1 на выражение, полученное для него, и получим уравнение для b2.
31

32.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
b2 X i2 X iYi b1 X i 0
b2 X i2 X iYi (Y b2 X ) X i 0
b2 X i2 X iYi (Y b2 X )nX 0
X
X
i
n
X
i
nX
Используем определение среднего значения выборки.
32

33.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
b2 X i2 X iYi b1 X i 0
b2 X i2 X iYi (Y b2 X ) X i 0
b2 X i2 X iYi (Y b2 X )nX 0
b2 X i2 X iYi nXY nb2 X 2 0
Раскрыты скобки в третьем слагаемом.
33

34.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
RSS
0 2b2 X i2 2 X iYi 2b1 X i 0
b2
b2 X i2 X iYi b1 X i 0
b2 X i2 X iYi (Y b2 X ) X i 0
b2 X i2 X iYi (Y b2 X )nX 0
b2 X i2 X iYi nXY nb2 X 2 0
b2 X i2 nX 2 X iYi nXY
В правой части остались слагаемые, не зависимые от b2 .
34

35.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2 X i2 nX 2 X iYi nXY
Запишем наш результат в новый слайд.
35

36.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
X Y nXY
X nX
i
i
2
i
2
Получаем выражение для b2.
36

37.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
На практике мы будем использовать альтернативное выражение. Мы
продемонстрируем, что они эквивалентны.
37

38.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
X
i
X Yi Y X iYi X iY XYi XY
X iYi Y X i X Yi nXY
X iYi Y nX X nY nXY
X iYi nXY
Раскрываем скобки в числителе.
38

39.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
X
i
X Yi Y X iYi X iY XYi XY
X iYi Y X i X Yi nXY
X iYi Y nX X nY nXY
X iYi nXY
Упрощаем числитель далее.
39

40.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
X
X
X
i
X Yi Y X iYi X iY XYi XY
i
n
X
i
nX
X iYi Y X i X Yi nXY
X iYi Y nX X nY nXY
X iYi nXY
Упрощаем далее.
40

41.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
X
i
X Yi Y X iYi X iY XYi XY
X iYi Y X i X Yi nXY
X iYi Y nX X nY nXY
X iYi nXY
Мы показали, что числители двух выражений одинаковы.
41

42.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
b2 X i2 nX 2 X iYi nXY
b2
b2
X Y nXY
X nX
X X Y Y
X X
i
i
2
i
2
i
i
2
i
X
i
X Yi Y X iYi nXY
2
2
2
X
X
X
n
X
i
i
Знаменатели являются эквивалентными выражениями.
42

43.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
b1
b2
Yˆ1 b1 b2 X 1
X1
Xn
X
Подведем итог тому, что мы сделали.
43

44.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
b1
b2
Yˆ1 b1 b2 X 1
b1 Y b2 X
b2
X X Y Y
X X
i
i
2
i
X1
Xn
X
Мы нашли параметры расчетной линии, минимизируя сумму квадратов остатков. В
результате мы получили выражения для b1 и b2.
44

45.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
b1
b2
Yˆ1 b1 b2 X 1
b1OLS Y b2OLS X
OLS
2
b
X X Y Y
X X
i
i
2
i
X1
Xn
X
Обозначаем найденные параметры расчетной модели, как b1OLS and b2OLS.
45

46.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Y
Истинная модель
Y 1 2 X u
Расчетная модель
Yˆ b1 b2 X
Yˆn b1 b2 X n
Yn
Y1
b1
b2
Yˆ1 b1 b2 X 1
b1OLS Y b2OLS X
OLS
2
b
X X Y Y
X X
i
i
2
i
X1
Xn
X
В дальнейшем мы будем, как правило, пользоваться оценками OLS, и поэтому
надстрочную надпись «OLS» мы использовать не будем.
46

47.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y 2 X u
Расчетная модель
Yˆ b2 X
В случае простой регрессионной модели истинная и расчетная модели записываются
без свободного члена.
47

48.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y 2 X u
Расчетная модель
Yˆ b2 X
ei Yi Yˆi Yi b2 X i
Мы выведем выражение для b2, используя критерий наименьших квадратов. Остаток
в наблюдении i равен ei = Yi – b2Xi.
48

49.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Y 2 X u
Расчетная модель
Yˆ b2 X
ei Yi Yˆi Yi b2 X i
RSS Yi b2 X i Yi 2 2b2 X iYi b22 X i2
2
Здесь мы получаем выражение для суммы квадратов остатков.
49

50.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Расчетная модель
Y 2 X u
Yˆ b2 X
ei Yi Yˆi Yi b2 X i
RSS Yi b2 X i Yi 2 2b2 X iYi b22 X i2
2
dRSS
2b2 X i2 2 X iYi
db2
2b2OLS X i2 2 X iYi 0
Продифференцируем по b2.
50

51.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Расчетная модель
Yˆ b2 X
Y 2 X u
ei Yi Yˆi Yi b2 X i
RSS Yi b2 X i Yi 2 2b2 X iYi b22 X i2
2
dRSS
2b2 X i2 2 X iYi
db2
2b2OLS X i2 2 X iYi 0
OLS
2
b
XY
X
i
i
2
i
Следовательно, мы получаем оценку OLS для b2 для этой модели.
51

52.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
Истинная модель
Расчетная модель
Yˆ b2 X
Y 2 X u
ei Yi Yˆi Yi b2 X i
RSS Yi b2 X i Yi 2 2b2 X iYi b22 X i2
2
dRSS
2b2 X i2 2 X iYi
db2
2b2OLS X i2 2 X iYi 0
OLS
2
b
XY
X
i
i
2
i
d 2 RSS
2
2
X
i 0
2
db2
Вторая производная положительна, подтверждая, что мы нашли минимум.
52

English Русский Правила