Эксперимент по методу Монте-Карло. Истинная модель. Соответствующая модель

1.

Эксперимент по методу Монте-Карло
Истинная модель
Соответствующая модель
Yˆ b1 b2 X
Y b1 b 2 X u
b2
X X Y Y
b a u
X X
i
i
2
2
t
i
i
Xi X
ai
2
X
X
j
Согласно материалу, представленном в предыдущей презентации, мы видим, что
ошибка ответственна за вариации b2 при фиксированной компоненте b2.
Мы математически продемонстрировали, что ожидание ошибки равно нулю, а,
следовательно, b2 является несмещенной оценкой of b2.
1

2.

Эксперимент по методу Монте-Карло
Истинная модель
Соответствующая модель
Yˆ b1 b2 X
Y b1 b 2 X u
b2
X X Y Y
b a u
X X
i
i
2
2
t
i
i
Xi X
ai
2
X
X
j
На этом слайде мы непосредственно исследуем влияние ошибки на b2, используя
эксперимент Монте-Карло (имитационный эксперимент).
2

3.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Эксперимент по методу Монте-Карло - это лабораторное исследование, обычно проводимое
с целью оценки свойств регрессионных оценок в контролируемых условиях.
3

4.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Мы будем использовать эксперимент по методу Монте-Карло для исследования поведения
регрессионных коэффициентов OLS , применимо к простой модели регрессии.
4

5.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Будем считать, что Y определяется переменной X и остаточным членом u.
Выберем данные (фактические значения) для X, а также значения для параметров.
5

6.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
s
Выберете
распределение для
u
Мы также будем генерировать значения для остаточного члена случайным образом из
известного распределения.
6

7.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Модель
Сгенерируйте
(создайте) значения
дляY
Значения Y в образце будут определяться значениями X, параметрами и значениями
остаточного члена.
7

8.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Модель
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
Затем мы будем использовать метод регрессии для получения оценок параметров,
используя только данные по Y и X.
8

9.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Модель
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
Мы можем повторять этот процесс множество раз, сохраняя одни и те же данные для X и
одинаковые значения параметров, но используя новые, случайно генерируемые значения
для остаточного члена.
9

10.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Модель
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
Таким образом, мы можем получить распределения вероятностей для регрессионных
оценок, которые позволяют нам, например, проверить, являются ли они предвзятыми или
непредвзятыми
10

11.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Y = b 1 + b 2X + u
b1 = 2.0
b2 = 0.5
X=
1, 2, ... , 20
u является
независимым
N(0,1)
Модель
Y = 2.0 + 0.5X + u
Сгенерируйте
(создайте)
значения дляY
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
В этом эксперименте мы имеем 20 наблюдений (в примере).
X принимает значения 1, 2, ..., 20.
b1 равно 2.0 and b2 равно 0.5.
11

12.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Y = b 1 + b 2X + u
X=
1, 2, ... , 20
b1 = 2.0
b2 = 0.5
u является
независимым
Модель
Y = 2.0 + 0.5X + u
Сгенерируйте
(создайте)
значения дляY
Сгенерируйте
(создайте)
значения дляY
N(0,1)
Метод
оценивания
Оцените значения
параметров
Остаточный член генерируется случайным образом с использованием нормального
распределения с нулевым средним и единичной дисперсией.
Следовательно, мы генерируем значения Y
12

13.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные X
Выберете
значения
параметров
Выберете
распределение для u
Y = b 1 + b 2X + u
b1 = 2.0
b2 = 0.5
X=
1, 2, ... , 20
независимым
Модель
Y = 2.0 + 0.5X + u
Сгенерируйте
(создайте)
значения дляY
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
b2
u является
N(0,1)
X X Y Y
b
X X
i
i
2
1
Y b2 X
i
Оцените значения
параметров
Затем мы оцениваем регрессию Y на X, используя метод оценки OLS, и посмотрим,
насколько наши оценки b1 и b2 соответствуют истинным значениям b1 and b2.
13

14.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
X
2.0+0.5X
u
Y
X
1
2
3
4
5
6
7
8
9
10
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
–0.59
–0.24
–0.83
0.03
–0.38
–2.19
1.03
0.24
2.53
–0.13
1.91
2.76
2.67
4.03
4.12
2.81
6.53
6.24
9.03
6.87
11
12
13
14
15
16
17
18
19
20
2.0+0.5X
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
u
Y
1.59
–0.92
–0.71
–0.25
1.69
0.15
0.02
–0.11
–0.91
1.42
9.09
7.08
7.79
8.75
11.19
10.15
10.52
10.89
10.59
13.42
На данном слайде представлены значения X, выбранные совершенно произвольно
14

15.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
X
2.0+0.5X
u
Y
X
1
2
3
4
5
6
7
8
9
10
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
–0.59
–0.24
–0.83
0.03
–0.38
–2.19
1.03
0.24
2.53
–0.13
1.91
2.76
2.67
4.03
4.12
2.81
6.53
6.24
9.03
6.87
11
12
13
14
15
16
17
18
19
20
2.0+0.5X
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
u
Y
1.59
–0.92
–0.71
–0.25
1.69
0.15
0.02
–0.11
–0.91
1.42
9.09
7.08
7.79
8.75
11.19
10.15
10.52
10.89
10.59
13.42
Учитывая выбор чисел для b1 and b2, мы можем получить нестахостическую
компонентуY.
15

16.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Нестахостическая компонента отображена на графике.
16

17.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
X
2.0+0.5X
u
Y
X
1
2
3
4
5
6
7
8
9
10
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
–0.59
–0.24
–0.83
0.03
–0.38
–2.19
1.03
0.24
2.53
–0.13
1.91
2.76
2.67
4.03
4.12
2.81
6.53
6.24
9.03
6.87
11
12
13
14
15
16
17
18
19
20
2.0+0.5X
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
u
Y
1.59
–0.92
–0.71
–0.25
1.69
0.15
0.02
–0.11
–0.91
1.42
9.09
7.08
7.79
8.75
11.19
10.15
10.52
10.89
10.59
13.42
Затем мы произвольно генерируем значение остаточного члена для каждого наблюдения с
использованием распределения N (0,1) (нормальное распределение с нулевым средним и
единичной дисперсией).
17

18.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
X
2.0+0.5X
u
Y
X
1
2
3
4
5
6
7
8
9
10
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
–0.59
–0.24
–0.83
0.03
–0.38
–2.19
1.03
0.24
2.53
–0.13
1.91
2.76
2.67
4.03
4.12
2.81
6.53
6.24
9.03
6.87
11
12
13
14
15
16
17
18
19
20
2.0+0.5X
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
u
Y
1.59
–0.92
–0.71
–0.25
1.69
0.15
0.02
–0.11
–0.91
1.42
9.09
7.08
7.79
8.75
11.19
10.15
10.52
10.89
10.59
13.42
Так, например, значение Y в первом наблюдении равно 1.91, а не 2.50.
18

19.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
X
2.0+0.5X
u
Y
X
1
2
3
4
5
6
7
8
9
10
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
6.5
7.0
–0.59
–0.24
–0.83
0.03
–0.38
–2.19
1.03
0.24
2.53
–0.13
1.91
2.76
2.67
4.03
4.12
2.81
6.53
6.24
9.03
6.87
11
12
13
14
15
16
17
18
19
20
2.0+0.5X
7.5
8.0
8.5
9.0
9.5
10.0
10.5
11.0
11.5
12.0
u
Y
1.59
–0.92
–0.71
–0.25
1.69
0.15
0.02
–0.11
–0.91
1.42
9.09
7.08
7.79
8.75
11.19
10.15
10.52
10.89
10.59
13.42
Аналогично, мы генерируем значения Y для других 19 наблюдений.
19

20.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
20 наблюдений отображены графически на данном слайде.
20

21.

Эксперимент
A MONTE CARLO
по методу
EXPERIMENT
Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные
для X
Выберете
значения
параметров
Выберете
распределение для u
Y = b 1 + b 2X + u
X=
1, 2, ... , 20
b1 = 2.0
b2 = 0.5
u является
независимым
Model
Y = 2.0 + 0.5X + u
Сгенерируйте
(создайте) значения
дляY
Сгенерируйте
(создайте)
значения дляY
N(0,1)
Метод
оценивания
Оцените значения
параметров
Мы достигли данного момента в эксперименте по методу Монте-Карло.
21

22.

Эксперимент по методу Монте-Карло
Выберите модель, в которой Y
определяется по X, значениями
параметров, and u
Выберете
данные
для X
Выберете
значения
параметров
Выберете
распределение для u
Y = b 1 + b 2X + u
b1 = 2.0
b2 = 0.5
X=
1, 2, ... , 20
независимым
Модель
Y = 2.0 + 0.5X + u
Сгенерируйте
(создайте)
значения дляY
Сгенерируйте
(создайте)
значения дляY
Метод
оценивания
Оцените значения
параметров
b2
u является
N(0,1)
X X Y Y
b
X X
i
i
2
1
Y b2 X
i
Оцените значения
параметров
Теперь мы применим метод оценки OLS для b1 and b2 к данным для X and Y, и
посмотрим, насколько хорошо оценки соответствуют истинным значениям.
22

23.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
На данном слайде снова представлена диаграмма дисперсии (корреляционная
диаграмма).
23

24.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Метод оценки использует только наблюдаемые данные для X and Y.
24

25.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
Yˆ 1.63 0.54 X
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
На слайде представлено уравнение регрессии, соответствующее данным.
25

26.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
Yˆ 1.63 0.54 X
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Для сравнения также представлена нестохастическая компонента действительной
связи. b2 (истинное значение 0.50) было завышено, а b1 (истинное значение 2.00) было
занижено.
26

27.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Мы повторим процесс, начиная с тех же нестахостических компонент Y.
27

28.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Как и раньше, значения Y изменяются путем добавления случайно генерируемых значений
остаточного члена.
28

29.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Новые значения остаточного члена взяты из того же распределения N (0,1), что и
предыдущие, но, не учитывая совпадение, будут отличаться от них.
29

30.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
Yˆ 2.52 0.48 X
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
На этот раз коэффициент наклона был занижен, а константа (параметр отсечения) завышен.
30

31.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Повторим процесс еще раз.
31

32.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Для генерации значений Y использовался новый набор случайных чисел.
32

33.

Эксперимент по методу Монте-Карло
Y = 2.0 + 0.5X + u
Y
Yˆ 2.13 0.45 X
14.00
12.00
10.00
8.00
6.00
4.00
2.00
0.00
0.00
5.00
10.00
15.00
20.00
X
Как и в прошлый раз, коэффициент наклона был занижен, а константа (параметр
отсечения) - завышен.
33

34.

Эксперимент по методу Монте-Карло
Модель
1
2
3
4
5
6
7
8
9
10
b1
b2
1.63
2.52
2.13
2.14
1.71
1.81
1.72
3.18
1.26
1.94
0.54
0.48
0.45
0.50
0.56
0.51
0.56
0.41
0.58
0.52
В таблице приведены результаты трех регрессий и добавлены полученные результаты,
повторяющие этот процесс еще семь раз.
34

35.

Эксперимент по методу Монте-Карло
12
10 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
На данном слайде представлена гистограмма для оценок b2.
Особых изменений не было замечено.
35

36.

Эксперимент по методу Монте-Карло
1-10
11-20
21-30
31-40
41-50
0.54
0.48
0.45
0.50
0.56
0.51
0.56
0.41
0.58
0.52
0.49
0.54
0.49
0.54
0.54
0.52
0.49
0.53
0.60
0.48
0.54
0.46
0.45
0.50
0.41
0.53
0.53
0.47
0.51
0.47
0.52
0.47
0.54
0.53
0.51
0.51
0.47
0.55
0.51
0.58
0.49
0.50
0.48
0.44
0.53
0.48
0.47
0.50
0.53
0.51
В данной таблице приведены оценки b2 , полученные в ходе повторения процесса еще
40 раз.
36

37.

Эксперимент по методу Монте-Карло
12
50 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Гистограмма начинает проявлять центральную тенденцию.
37

38.

Эксперимент по методу Монте-Карло
12
100 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Это гистограмма со 100 повторениями. Мы видим, что распределение оказывается
симметричным относительно истинного значения, подразумевая, что оценка несмещена.
38

39.

Эксперимент по методу Монте-Карло
12
100 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Однако, распределение все еще является довольно неровным. Было бы лучше
повторить процесс 1,000,000 раз, возможно, даже больше.
39

40.

Эксперимент по методу Монте-Карло
12
100 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Красная кривая показывает предельную форму распределения. Оно симметрично вокруг
истинного значения, что указывает на то, что метод оценивания объективен.
40

41.

Эксперимент по методу Монте-Карло
b2
12
X X Y Y
b a u
X X
i
i
2
2
t
i
i
100 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Распределение нормальное, так как случайная составляющая коэффициента представляет
собой взвешенную линейную комбинацию значений остаточного члена в наблюдениях в
образце. Мы продемонстрировали это в предыдущем слайд-шоу.
41

42.

Эксперимент по методу Монте-Карло
b2
12
X X Y Y
b a u
X X
i
i
2
2
t
i
i
100 замеров
10
8
6
4
2
0
0.40
0.45
0.50
0.55
0.60
Мы предполагаем (Аксиома А.6), что остаточный член в каждом наблюдении имеет
нормальное распределение. Линейная комбинация нормально распределенных случайных
величин имеет нормальное распределение.
42