Показатели качества уравнения множественной регрессии. Коэффициент детерминации

1. ПОКАЗАТЕЛИ КАЧЕСТВА УРАВНЕНИЯ МНОЖЕСТВЕННОЙ РЕГРЕССИИ

Все показатели качества используют остатки:
ei yi yi
называется остатком

2. 1. Сумма квадратов остатков (ESS – error sum of squares)

n
n
ESS e yi yi
i 1
2
i
2
i 1
2. Стандартная ошибка регрессии (средняя квадратическая ошибка) s
1
s
ESS
n r

3. 3. Средняя ошибка аппроксимации

1 n ei
A 100%
n i 1 yi
Считается, что ошибка меньше 8% свидетельствует о хорошем качестве
модели

4. 4. Коэффициент детерминации R2

n
ESS yi yi
i 1
n
TSS yi y
2
i 1
n
RSS yi y
i 1
2
2
– error sum of squares, остаточная сумма квадратов
отклонений
– total sum of squares, общая сумма квадратов
отклонений
– regression sum of squares, регрессионная сумма
квадратов отклонений
Теорема TSS=RSS+ESS

5. 4. Коэффициент детерминации R2

Коэффициентом детерминации называют число
RSS
R
TSS
2
TSS ESS
ESS
R
1
TSS
TSS
2
Коэффициентом детерминации - это доля дисперсии признака y, объясненная
регрессией в общей дисперсии признака y

6. Свойства коэффициента детерминации R2

RSS
R
TSS
2
1)
0 R2 1

7. Свойства коэффициента детерминации R2

RSS
ESS
R
1
TSS
TSS
2
2) Если
R 2 1 , то y является линейной функцией от x1 , x2
xr 1
и не зависит от иных факторов.
Чем ближе R2 к 1, тем лучше регрессия аппроксимирует
статистические данные, тем теснее линейная связь между зависимой и
объясняющими переменными.

8. Свойства коэффициента детерминации R2

RSS
ESS
R
1
TSS
TSS
2
3) Если
R 2 0 , то y не зависит от x1 , x2 xr 1
.
Вариация зависимой переменной полностью обусловлена воздействием
неучтенных в модели переменных.

9. Свойства коэффициента детерминации R2

RSS
ESS
R
1
TSS
TSS
2
4) Пусть
R 2 (r )
переменными, а
- коэффициент детерминации в модели с r объясняющими
R 2 (r 1)
- с r-1 переменной. Тогда
R 2 (r 1) R 2 (r )
т.е добавление новой переменной в уравнение регрессии не уменьшает
(а чаще увеличивает) коэффициент детерминации.

10. Свойства коэффициента детерминации R2

RSS
ESS
R
1
TSS
TSS
2
Увеличение
R2
при добавлении новой переменной ещё не говорит об
улучшение качества модели.
Если взять число регрессов = число наблюдений – 1, то
2 регрессора (r=3) 3 наблюдения (n=3),
R2 1
y
yi a1 xi1 a2 xi 2 a3 , i 1,3
ESS 0 R 1
2
x1
x2

11. Свойства коэффициента детерминации R2

RSS
ESS
R
1
TSS
TSS
2
Увеличение
R2
при добавлении новой переменной ещё не говорит об
улучшение качества модели.
Если взять число регрессов = число наблюдений – 1, то
R2 1
y
1 регрессор (r=2) 2 наблюдения (n=2),
yi a1 xi1 a2 , i 1,2
ESS 0 R 1
2
x1
x2

12.

R R2
называется множественным коэффициентом корреляции

13.

Таким образом, можно добиться близости
R2
к 1 добавлением новых
факторов, но это вовсе не будет означать наличие содержательной
(имеющий экономический смысл) зависимости y от регрессоров.
Для устранения эффекта роста
R2
при возрастание числа регрессоров,
используется скорректированный коэффициент детерминации.

14. СКОРРЕКТИРОВАННЫЙ КОЭФФИЦИЕНТ ДЕТЕРМИНАЦИИ

2
adj
R
ESS n 1
1
TSS n r
показывает долю объясненной вариации зависимой
переменной с учетом числа объясняющих переменных
уравнения регрессии

15. Свойства

R 2
adj
2
adj
R
1)
2
adj
R
ESS n 1
1
TSS n r
n 1
1 1 R
n r
2

16. Свойства

R 2
adj
2
adj
R
n 1
1 1 R
n r
2
2) Если r=1, то
2
Radj
R2
3) Если r>1, то
2
Radj
R2

17. Свойства

R 2
adj
2
adj
R
4)
n 1
1 1 R
n r
2
2
Radj
1 , но
может быть отрицательным
5) При больших объемах выборки
2
Radj
и
R2
различаются незначительно.
2
2
R
R
lim adj
n
6) При добавлении новых факторов в модель
2
Radj
может уменьшится.
R2
никогда не уменьшается,

18.

Модели с разным числом объясняющих
переменных сравнивают по скорректированным
коэффициентам детерминации.

19.

Регрессионная статистика
0,446161315
Множественный
коэффициент
корреляции
0,199059919
Обычный коэффициент
детерминации
Нормированный R-квадрат
0,196076902
Скорректированный
коэффициент
детерминации
Стандартная ошибка
13,09196808
Множественный R
R-квадрат
Наблюдения
540
Дисперсионный анализ
df
SS
MS
2
22875,36105
11437,68
Остаток
537
92041,60034
171,3996
Итого
539
114916,9614
Коэффициенты
Стандартная ошибка
t-статистика
P-Значение
Y-пересечение
-26,93164811
4,523407834
-5,95384
4,73E-09
N
2,674036105
0,231999296
11,52605
1,28E-27
0,59409725
0,137923673
4,307435
1,96E-05
Регрессия
Nrab
F
66,73107