Элементы регрессионного анализа. Виды связей между явлениями

1. Элементы регрессионного анализа

1

2. Виды связей между явлениями

• 1. Функциональная связь между X и Y
• - если каждому возм. знач. X соответствует
однозначно определенное знач. Y .
• Ф. связь выраж. аналитич. в виде строгой
формулы, напр.:
• y = ax + b; y= λe-λ; y=ax2+bx + c и т.п.
2

3. Виды связей между явлениями

• 2. Статистич. связь (корреляционная) между X и Y
– такая,
• когда каждому возм. значению X соответствует не
одно, а целый ряд возм. знач. Y,
• (т.е. распределение СВ Y)
• изменяющийся вместе с изменением X:
Знач. СВ X
x
x
Возм.знач.СВ Y
y1 , y2 ,..., yn
y1 , y2 ,..., ym
x
y1 , y2 ,..., yk
...
............
3

4. Статистическая связь меду X и Y

• Одна СВ может реагировать на изменение другой
изменением:
• 1) своего закона распр., т.е. изменением вида
кривой распр.;
• 2) только своего мат. ожидания, т.е. среднего
значения;
• 3) др. числ. характеристик.
4

5. Статистическая связь меду X и Y

Знач. СВ X
x
x
x
...
Возм.знач.СВ Y f ( y )
M(Y )
f( y)
y1 , y2 ,..., yn
норм.
MY
норм.
y1 , y2 ,..., ym
равном. MY
норм.
y1 , y2 ,..., yk
показат. MY
норм.
............
............
...
......
• Частный случай стат.связи между X и Y, когда с
измен. одной из них меняется только мат.
ожидание другой,
• выражает линейную корреляционную связь.
M(Y )
MY
MY
M Y
...
5

6. Статистическая связь меду X и Y

• При реш. задач регресс. анализа:
• СВ X - предиктор или фактор,
• (это условно независ. переменная, аргумент)
• СВ Y - отклик или результативный признак.
6

7.

• Прежде, чем ставить вопрос о форме связи между
X и Y и искать ее,
• нужно убедиться в том,
• что связь между X и Y действительно существует и
она значима
7

8. Выявление связи

• Теоретически силу и тесноту линейной корр.
связи между двумя СВ X и Y показывает
коэфф. корреляции ρ:
(KXY- центр. смешанный
K
XY
XY
X Y
• момент 2-го порядка)
1 1
8

9. Выявление связи

• В зависимости от значения коэффициента
корреляции будем иметь:
0
Корреляция
отсутствует, но может
быть функциональная
связь
0 1
Линейная
корреляционная
связь
1
Нелинейная
корреляционная
связь
Идеальная линейная
корреляционная
связь (функциональная)
9

10. Выявление связи

• На практике вычисл. выборочный коэфф.
корреляции (оценка значения ρ):
n
( x X )( y Y )
rXY i 1
i
i
n X Y
1 r 1
• rXY обладает значит. выборочной изменчивостью.
• Поэт. всегда нужно убеждаться в том, что его
велич. является статистич. значимой.
10

11. Определение значимости выборочного коэфф.корреляции

• Определить значимость r означает установить,
• достаточна ли его величина для обоснованного
вывода о наличии корреляц. связи между X и Y.
11

12. Определение значимости выборочного коэфф.корреляции

• Выдвиг. и проверяется нулевая гипотеза
H 0 XY 0
• - о не значимости действительного коэфф.
корреляции.
• Крит. проверки – статистика t:
- эмпирическое
n 2
tЭ r
значение критерия
1 r2
12

13. Определение значимости выборочного коэфф.корреляции

• Критич. знач. tТ выбир. из табл. распр.
Стьюдента…
• …по числу степ. свободы ν = n – 2 и уровню
значимости q = 1 - β, где β - принятая доверит.
вер.
• Если |tЭ|< tТ , то нулевая гип. не отвергается, т.е. r
не значим.
• Если |tЭ|> tТ , то нулевая гип. отвергается, т.е. r
значим.
13

14.

• Если rXY оказался значимым, то нужно
установить его точность и надежность
14

15. Определение точности и надежности выборочного коэфф. корреляции

• Надежность – это доверит. вер. β
• (задается нами исходя из целесообразности).
• Точность – длина доверит. интервала, которая
соответствует принятой нами β.
• Доверит. инт. строится для ρ согласно крит. Фишера
15

16. Критерий Фишера

• Доверит. инт. для ρ по Фишеру имеет вид:
P( thZ1 thZ 2 )
• th – гиперболич. тангенс;
Z1 Z t Z ; Z 2 Z t Z
1 1 r
Z ln
2 1 r
• tβ – арг. ф. Лапласа для принятой β.
• Т.о. с вер. β действительное знач. коэфф. коррел.
ρ , будет находиться в интервале: (th Z1; th Z2 ).
16

17. Критерий Фишера

• Если (th Z2 – th Z1)<|r|, то точность r достаточна
для заданной доверит. вер. β.
• Тогда делаем вывод о наличии между X и Y
статистически значимой линейной корреляц.
зависимости.
• Иначе – наоборот.
• Если наличие статистически значимой связи
между X и Y установлено,
• то можно приступать к определению формы этой
связи
17

18. Определение формы связи

• Теоретически форма стат. связи X и Y
характеризуется функцией регрессии.
• Понятие ф. регрессии относится к ГС значений
X и Y.
• Определение вида ф. регрессии – основная
задача регрессионного анализа.
18

19. Определение формы связи

• Функцией регрессии СВ Y относительно СВ X
(функцией регрессии Y по X) называется
• условное мат. ожидание СВ Y, рассматриваемое
как функция x :
• ( x ) M Y
- ф. регрессии Y по X;
X x
- ф. регрессии X по Y.
( y ) M X Y y
• В зависим. от вида ф. регрессии будем иметь
линейную или нелинейную корреляц. связь.
19

20. Определение формы связи

• Напомним, что линейная корреляц. связь –
частный случай статистич. связи между X и Y,
• такая, при которой с изменением одной из них
изменяется только мат. ожидание (среднее
значение) другой.
• В случае лин. корреляц. связи между X и Y ф.
регрессии имеет вид уравнения прямой линии:
20

21. Функция линейной регрессии Y по X

Y
M Y XY
( x MX )
X x
X
M Y Y ( x M X ) A x B
M Y
X
Y
A Y XY
const
X
X
B M Y Y M X const
X
• ρXY – коэфф. корреляции
• βY/X -коэффициент лин. регрессии
21

22. Выборочное уравнение регрессии Y по X

• Оценкой ф. регрессии по выборке является
выборочное уравнение регрессии Y по X:
Y
X
Y a( x X )
Y Y a( x X )
• или
X
• или в виде:
y a x b,
• т.е. обычное уравнение прямой линии
• В нем:
• y Y X - среднее знач. СВ Y, зависящее от того,
какое именно знач. x приняла СВ X.
22

23. Выборочное уравнение регрессии

• а и b – оценки коэфф. A и B ф. регрессии
(параметры уравнения прямой линии).
• Они определ. по выборке на основе метода
наименьших квадратов (МНК) так:
Y
a Y rXY
,
X
X
b Y aX
• Уравнение регрессии есть формула прогнозов.
23

24. Выборочное уравнение регрессии

• Подстановка в ур. регрессии какого-либо
конкретного знач. X = x
• позволяет предсказать среднее значение
отклика Y для этого x.
• (Поэтому уравнение регрессии и называют формулой
прогнозов)
24

25. Выборочное уравнение регрессии

• Можно построить уравнение регрессии X по Y:
X
• или
Y
X a( y Y )
x ay b,
• Тогда
X
a X rXY
,
Y
Y
b X aY
25

26. Оценка точности регрессии

• Указывает на точность прогнозов
• В случ. лин. регрессии вычисляется
2
• остаточная дисп. ост.
или остат. ср. кв. откл.:
n
ост.
2
(
y
y
)
i i
i 1
n 2
• где n – число наблюдений пар величин X и Y
yi a xi b ( i 1,2,...,n )
26

27. Оценка точности коэффициентов уравнения регрессии

• 1. Точечная оценка
• состоит в вычислении:
a
ост.
X n 2
; b
ост.
n 2
• Эти значения ср. кв. отклонений укажут на
точность определения оценок a и b.
27

28. Оценка точности коэффициентов уравнения регрессии

• 2. Интервальная оценка
• состоит в построении доверит. интервалов для A
и В по обычной схеме, т.е.
P( a t a A a t a )
P( b t b B b t b )
• где tβ - аргумент ф. Лапласа, для принятой
доверит. вер. β
28

29. Оценка значимости регрессии

• Заключ. в проверке нулевой гипотезы
H 0 A 0
• - о не значимости теор. коэфф. A функции регрессии.
• Эмпирич. знач. критерия проверки гипотезы:
a
tЭ
a
• Критич. знач. tТ выбир. из табл. р. Стьюдента
• по числу степ. своб. ν = n - 2 и q = 1 - β
• Если tЭ<tТ , то нул. гип. не отверг. и A не значим
• Если tЭ>tТ , то нул. гип. отверг. и A значим
29