Множественный регрессионный анализ
Множественная линейная регрессия
Множественная линейная регрессия
Множественная линейная регрессия
Множественная линейная регрессия
Множественная линейная регрессия
Множественная линейная регрессия
Множественная линейная регрессия
Интервальные оценки
Множественная линейная регрессия
Полиномиальная регрессия
Полиномиальная регрессия
445.50K
Категория: МатематикаМатематика

Множественный регрессионный анализ

1. Множественный регрессионный анализ

Обозначения:
x1, x2 , ..., xk
y - отклик y x1, x2 ,..., xk
- модель
- факторы
y набл x1 , x2 , ..., xk
МНК – метод наименьших квадратов
yнабл у мод
2
Требования:
1) M i 0
2) D i
min
3) M i j 0
2
4) i ~ N 0,
i j
i 1, n
1

2. Множественная линейная регрессия

y b0 b1x1 b2 x2 ... bk xk
- линейная модель
yi - i-ое наблюдаемое значение отклика
- i-ые наблюдаемые
xi1, xi 2 , ..., xik
значения факторов
i 1, n
yi b0 b1xi1 b2 xi 2 ... bk xik i
МНК:
2
i min
2

3. Множественная линейная регрессия

Модель: y b0 b1x1 b2 x2 ... bk xk
x0 1 y b x b x b x ... b x
0 0
11
2 2
k k
Наблюдения:
i 1, n
yi b0 xi 0 b1xi1 b2 xi 2 ... bk xik i
y1
x10 x11
y2
x20 x21
y X
...
...
...
y
x
n
n0 xn1
n 1
... x1k
b0
1
... x2k
b1
2
b
...
...
... ...
b
... xnk
n
k
n k 1
k 1 1
n 1

4. Множественная линейная регрессия

y Xb
Q b
2
Т
i
2
i min
МНК:
1 2 ... n
y Xb
Т
Т
y Xb y Xb
Т
Т
Т Т
y b X y Xb
Т
Т Т
Т
Т Т
y y b X y y Xb b X Xb
4

5. Множественная линейная регрессия

y Xb
Q b
2
i
2
i min
МНК:
Т
Т Т
Т
Т Т
y y b X y y Xb b X Xb
bQ b X Т y X Т y X Т Xb X Т Xb 0
Т
Т
X Xb X y
Т
с с
с
b с
,
,...,
b0 b1 bk
Т 1 Т
b X X X y
b bT A A b Ab AT
T
T
b b Ab Ab A b

6. Множественная линейная регрессия

Т
Т
X Xb X y
1 1
x11 x21
T
X X
... ...
x x
1k 2 k
n
xi1
T
X X
...
x
ik
- система нормальных уравнений
...
...
...
...
1 1
xn1 1
... ...
xnk 1
xi1
2
xi1
...
...
...
...
xi1xik ...
x11
x21
...
xn1
...
...
...
...
x1k
x2 k
...
xnk
xik
xi1xik
...
2
x
ik

7. Множественная линейная регрессия

Т
Т
X Xb X y
n
xi1
T
X Xb
...
x
ik
1 1
x11 x21
T
X Y
... ...
x x
1k 2 k
xi1
2
xi1
Т 1 Т
b X X X y
...
...
...
...
xi1xik ...
...
...
...
...
xik b0
xi1xik b1
...
2
xik
...
b
k
1 y1 yi
xn1 y2 xi1 yi
...
...
...
xnk yn xik yi

8. Множественная линейная регрессия

Т
Т
Т 1 Т
b X X X y
X Xb X y
y b0 b1x1 b2 x2
nb
b1 xi1 b2 xi 2 yi
0
2
b0 xi1 b1 xi1 b2 xi1xi 2 xi1 yi
b x b x x b x 2
0 i 2 1 i1 i 2 2 i 2 xi 2 yi

9. Интервальные оценки

Т 1 Т
b X X X y
y Xb
Оценка остаточной
дисперсии
2
S
n
1
n k 1
S
2
n k 1
2
yi b0 b1xi1 ... bk xik
i 1
bi bi t табл sb i
tтабл t
;
n
k
1
2
Q b
sb i s cii
Т
С X X
i 1, n
1

10. Множественная линейная регрессия

y Xb
Адекватность модели
Оценка остаточной
дисперсии
n
1
n k 1
i 1
Оценка общей
дисперсии
2
S
H 0 : D y D
H1 : D y D
S
Q b
2
n k 1
2
yi b0 b1xi1 ... bk xik
2
Sy
n
yi y
n 1
1
2
i 1
2
Sy
~ F n 1;n k 1
2
S
10

11. Полиномиальная регрессия

2
3
k
y b0 b1x b2 x b3 x ... bk x
k
2
Замена: x x1 x x
x
x
k
2
...
y b0 b1x1 b2 x2 ... bk xk
x0 1 y b0 x0 b1x1 b2 x2 ... bk xk
В матричной y
y
X
b
X
b
форме
набл
мод
МНК:
2
i min
Т 1 Т
b X X X y
11

12. Полиномиальная регрессия

Пример. Найти оценки параметров модели,
проверить ее адекватность y b b x b x 2
0 1
2
x
-3
-2
-1
0
1
2
3
y
-10
0
4
5
4
2
-2
x x1 x x2
y b0 b1x1 b2 x2
2
y b0 x0 b1x1 b2 x2
x0 1
12

13.

Пример
(продолжение).
x
-3
-2
-1
0
1
2
3
y
-10
0
4
5
4
2
-2
Перейдем к
матричной форме
y b0 x0 b1x1 b2 x2
1 3 9
10
1 2 4
0
1 1 1
4
y 5
X 1 0 0
4
1 1 1
2
1 2 4
2
1 3 9
y Xb
Т 1 Т
b X X X y
0 28
7
T
X X 0 28 0
28 0 196
13

14.

0 28
7
1
T
X X 0 28 0 С X Т X
28 0 196
0.33 0 0.05
1
Т
Т
С 0 0.04 0
b X X X y
0.05 0 0.01
Пример
(продолжение).
5.38
b 1
1.24
y b0 b1x b2 x 2
y 5.38 x 1.24 x
2

15.

Интервальные оценки
2
b 5.38
y 5.38 x 1.24 x
Пример
(продолжение)
bi bi t табл sb i
sb0 2.78 1.3 0.33
b0 3.29; 7.47
sb1 2.78 1.3 0.04
b1 0.31;1.69
sb2 2.78 1.3 0.01
b2 1.64 ; 0.84
1.24
1
Т
0.33 0 0.05
С 0 0.04 0
0.05 0 0.01
S
2
2
S
Q b
n k 1
6,78
7 3
S 2 1.695
S 1 .3
t табл 2.78
0.05 4

16.

Пример
(продолжение)
Адекватность модели
2
Q
b
2
y 5.38 x 1.24 x
S
H 0 : D y D
H1 : D y D
2
Sy
2
S
n
yi y
n 1
1
n k 1
2
i 1
2
Sy
~ F n 1;n k 1
2
S
Вывод: модель адекватна
6,78
7 3
2
S 1.695
2 163.71
Sy
27.285
7 1
Fнабл 16.09
Fтабл 6.16
16
English     Русский Правила