Логические основы модели Раша

1. Логические основы модели Раша

План лекции
1. Модель Раша – ключевой аспект
теории измерения латентных переменных
2. История построения модели
3. Формальные предпосылки построения
модели
4. Логические основы построения модели
30.03.2017
Измерение компетенций и качества
образования
1

2. Латентная переменная

это конструкт (теоретический), который
представляет интерес для исследователя
30.03.2017
Измерение компетенций и качества
образования
2

3. Расположение индивидов и тестовых заданий на линейном континууме

30.03.2017
2
1
2
1
2
1
2
1
2
1
Измерение компетенций и качества
образования
3

4. Нелинейность тестового балла

30.03.2017
Измерение компетенций и качества
образования
4

5. Вместо обоснования модели …

«логистическая модель используется наиболее широко, так
как она специально предназначена для тестов» [Дружинин В.К.,
с. 193];
«… у G. Rasch возникла идея выразить вероятность
правильного ответа на задание посредством так называемой
логистической функции» [Аванесов В.С., с. 182];
«Простейшая модель вероятности успеха … предложена
датским математиком Рашем» [Нейман Ю.М., Хлебников В.А., с.
12] и др.
«G. Rasch удалось предложить удачную форму связи между
параметрами» [Челышкова М.Б. (2001), с. 61] и др.
30.03.2017
Измерение компетенций и качества
образования
5

6. Первое применение модели Раша - измерение прогресса школьников в чтении

Ключевые требования:
- при каждом тестировании должны
использоваться различные тексты (тесты);
- тексты должны соответствовать уровню
подготовленности испытуемого – они должны быть
ни слишком трудными, ни слишком легкими;
- оценки подготовленности должны измеряться
на одной и той же шкале.
В качестве статистики выбрано число ошибок
при чтении.
30.03.2017
Измерение компетенций и качества
образования
6

7. Схема назначения текстов в тесте (по возрастающей трудности)

Возраст/тес
т
7
8
9
10
1
2
+-
++-
3
4
6
7
+-
+-
++-
11
++-
12
30.03.2017
5
++-
Измерение компетенций и качества
образования
+7

8. Ожидаемые результаты при назначении тестов с возрастающей трудностью

Возраст/тест
1
2
3
4
5
6
7
7
+-
+-
--
--
--
--
--
8
++
+-
+-
--
--
--
--
9
++
++
+-
+-
--
--
--
10
++
++
++
+-
+-
--
--
11
++
++
++
++
+-
+-
--
12
++
++
++
++
++
+-
+-
30.03.2017
Измерение компетенций и качества
образования
8

9. Гипотеза Георга Раша

В качестве гипотезы (на основе
многочисленных данных и диаграмм) Георг Раш
предположил, что среднее число ошибок можно
представить в виде
Ave x pt
Dt
Bp
где Ave[xpt] среднее число ошибок, которое сделает
p-ый школьник с уровнем подготовленности Bp при
чтении t-ого текста с трудностью Dt.
30.03.2017
Измерение компетенций и качества
образования
9

10. Сравнение двух тестов по трудности

В качестве примера сравним по трудности тест 1 и тест 2,
которые были пройдены p-ым испытуемым.
x p1
x p2
D1 D2 D1
:
B p B p D2
Оказалось, что сравнение двух тестов по трудности не
зависит от уровня подготовленности испытуемых,
которые их прошли.
30.03.2017
Измерение компетенций и качества
образования
10

11. Обобщение Георга Раша

Некоторый текст может быть выбран как
стандарт, и затем различные тексты можно
откалибровать относительно этого стандарта.
Испытуемым можно дать любойD из
текстов для чтения, и их уровень подготовки
будет измерен на одной и той же шкале.
Исходя из этого относительные трудности
могут быть выражены в логарифмической шкале:
1
i log Di
30.03.2017
Измерение компетенций и качества
образования
11

12. Формальные предпосылки модели Раша

если i 0 то P x i 1 0.5
если i 0 то P x i 1 0.5
если i 0 то P x i 1 0.5
0 P xi 1 1
i
0 e i
e i
0
i 1
1 e
i
e
P x i 1 , i
i
1 e
30.03.2017
Измерение компетенций и качества
образования
12

13. Иллюстрация модели Раша

Ин
див
ид
ы
Задания
1
1111111….1101
4
0
0,98
2
1111111….1010
3
0
0,95
…
…
2
0
0,88
N
1111110….0100
1
0
0,73
0
0
0,50
30.03.2017
p
i
e
P i
i
1 e
Измерение компетенций и качества
образования
13

14. Отношение шансов на успех l-ого и m-ого студентов

P{ X ij 1 | i , j }
e
( i j )
1 e
( i j )
Qij {X ij 0 | i , j } 1
( i j )
e
( i j )
Pij
i j
1
e
e
( i j )
Qij
e
1
( i j )
1 e
30.03.2017
e
e
l j
m j
Измерение компетенций и качества
образования
e
( i j )
1 e
( i j )
e
1
1 e
( i j )
l m
14

15. Вычисление вероятности правильного ответа

если
e 6 4
e2
7.39
6, i 4, то P x i 1 , i
0.88
6 4
2
1 e
1 e
8.39
i
5
4
3
2
1
0
-1
-2
-3
-4
-5
30.03.2017
Вероятность
Правильного ответа
0,99
0,98
0,95
0,88
0,73
0,50
0,27
0,12
0,05
0,02
0,01
Измерение компетенций и качества
образования
15

16. Предпосылки конструирования модели измерения

При заданных Bν и Di отношение (odds) Bν / Di является
мультипликативным, вероятность правильного ответа
равна
B / Di
1 B / Di
Для перехода к логарифмически линейной метрике
используется преобразование
ln B
ln Di
или
B
i
e
Di
логлинейная метрика
30.03.2017
B e
или
Di e
Si
мультипликативная метрика
Измерение компетенций и качества
образования
16

17. Логические основы модели Раша

Простейшая модель Раша имеет вид
i
e
p i
i
1 e
где
pνi – вероятность правильного
испытуемого на i-ое задание;
ответа
ν-го
βν – уровень знаний ν-го испытуемого;
δi – уровень трудности i-го задания.
30.03.2017
Измерение компетенций и качества
образования
17

18. Для иллюстрации – «прыжки в высоту»

n-ый прыгун в высоту пытается «взять»
различные высоты (i = 1, 2, …, L).
При «взятии» i-ой высоты возможны три исхода:
- высота взята (xni = 1),
- высота не взята (xni = 0),
- высота пропущена (xni = -).
Попытки n-ого прыгуна преодолеть все L высот
представляются в виде вектора (1, 1, -, 0, 1, …, 0), где
«1» обозначает успешную попытку, «0» обозначает
неудачную попытку, а «-» обозначает то, что прыгун
пропустил данную высоту.
30.03.2017
Измерение компетенций и качества
образования
18

19. Сравнение прыгунов и прогноз

Общее число успехов n-ого прыгуна
Rn = xni
При использовании этой статистики для
сравнения прыгунов необходимо, чтобы все они
пытались преодолеть один и тот же набор высот.
Однако с помощью этой статистики нельзя
получить прогноз на будущее.
Для прогнозирования необходимо знать
вероятность того, что в следующий раз n-ый
прыгун возьмет i-ую высоту.
30.03.2017
Измерение компетенций и качества
образования
19

20. Число успешных исходов – достаточная статистика

Число успешных исходов Rn является
конкретной и вместе с тем ограниченной
информацией.
Вероятность является абстрактной и вместе с
тем принципиально необходимой информацией для
прогноза. Это очень важный аспект, потому что
прогноз – это одна из важнейших задач науки.
В исходной матрице могут быть пропуски,
однако в матрице ожиданий пропусков нет – для всех
ni-ых комбинаций вычисляется вероятность
успешной попытки.
30.03.2017
Измерение компетенций и качества
образования
20

21. Исходы попыток преодоления i-ой высоты двумя прыгунами

n-ый прыгун
Возможные исходы
взятия высоты у обоих
прыгунов
m-ый
прыгун
30.03.2017
Высота
взята
xni = 1
Высота не
взята
xni = 0
Высота взята
xmi = 1
Pmi Pni
Pmi (1-Pni)
Высота не
взята
xmi = 0
(1-Pmi) Pni
(1-Pmi) (1-Pni)
Измерение компетенций и качества
образования
21

22. Обозначения числа успешных прыжков

N11-число успешных прыжков у обоих
прыгунов
N10-число прыжков успешных у m-ого прыгуна
и неуспешных у n-ого прыгуна
N01-число прыжков успешных у n-ого прыгуна
и неуспешных у m-ого прыгуна
N00-число неуспешных прыжков у обоих
прыгунов
30.03.2017
Измерение компетенций и качества
образования
22

23. Информативность исходов попыток преодоления i-ой высоты

Числа N11 и N00 бесполезны для целей сравнения.
Информативными являются только исходы, когда
один из прыгунов не берет высоту, а другой прыгун
берет, т.е. информативны для целей сравнения только
числа N10 и N01.
Обозначим через Pni вероятность того, что n-ый
прыгун возьмет i-ую высоту, тогда (1-Pni) –
вероятность того, что этот прыгун не возьмет эту
высоту. Аналогичные обозначения – для
m-ого
прыгуна.
30.03.2017
Измерение компетенций и качества
образования
23

24. Разность или отношение?

Статистика
A
Ситуация
B
C
D
Число «побед» mого прыгуна
N10
9
90
9000
5004
Число «побед» nого прыгуна
N01
1
10
1000
4996
Разность
N10 - N01
8
80
8000
8
Отношение
N10 / N01
9
9
9
1
30.03.2017
Измерение компетенций и качества
образования
24

25. Статистики «отношение» и «разность»

N10 – это число прыжков, в которых «победа»
на стороне m-ого прыгуна;
N01 – это число прыжков, в которых «победа»
на стороне n-ого прыгуна.
Сравнение этих двух прыгунов по уровню их
подготовленности отражает статистика
(N10 / N01), а не статистика (N10 - N01).
30.03.2017
Измерение компетенций и качества
образования
25

26. Сравнение m-ого и n-ого прыгунов по исходам взятия i-ой высоты

N10 Pmi (1 Pni )
N 01 Pni (1 Pmi )
30.03.2017
Измерение компетенций и качества
образования
26

27. Сравнение m-ого и n-ого прыгунов по исходам взятия любых высот

Естественно предположить, что
соотношение в уровне подготовленности
прыгунов не должно зависеть от «штурмуемой»
высоты.
Математически это можно записать так,
что для всех i и j
Pmj (1 Pnj )
Pmi (1 Pni )
Pni (1 Pmi )
Pnj (1 Pmj )
30.03.2017
Измерение компетенций и качества
образования
27

28. Вероятностная модель для n-ого прыгуна

Из предыдущего выражения следует, что
Pni Pnj (1 Pmj ) Pmi
(1 Pni ) (1 Pnj ) Pmj (1 Pmi )
30.03.2017
Измерение компетенций и качества
образования
28

29. Обобщение вероятностной модели для n-ого прыгуна

Для обеспечения объективности
необходимо, чтобы соотношение между любой
парой высот i и j должно быть справедливо для
любого прыгуна m.
Любой прыгун и любая высота могут
быть выбраны в качестве точки отсчета для
проведения этих сравнений.
Удобно выбрать прыгуна 0 и высоту 0
эквивалентными, т.е. Р00=0,5.
30.03.2017
Измерение компетенций и качества
образования
29

30. Вероятностная модель для n-ого прыгуна

Выбрав прыгуна 0 и высоту 0 как эквивалентные получаем
P00 = 0,5. В результате:
Pni Pn 0 P0i (1 P00 ) Pn 0 P0i
(1 Pni ) (1 Pn 0 ) (1 Pni ) P00 (1 Pno ) (1 P0i )
Откуда
Pni
bn
f (n) g (i)
di
(1 Pni )
где f(n) = bn (уровень подготовленности n-ого прыгуна);
g(i) = 1/di (уровень трудности высоты).
30.03.2017
Измерение компетенций и качества
образования
30

31. Условие объективности измерений

Необходимо подчеркнуть, что для
объективности измерений отношение шансов
для n-ого прыгуна преодолеть i-ую высоту
должно
быть
произведением
уровня
подготовленности прыгуна, выраженного как
f(n) = bn и уровня трудности высоты,
выраженного как g(i) = 1/di. Ничего другого
здесь не требуется.
30.03.2017
Измерение компетенций и качества
образования
31

32. Оценка параметров модели

Отметим, что
Pn 0
bn
1 Pn 0
является исключительно свойством прыгуна n в
выбранной системе отсчета.
P0 i
Точно так же
1
di
(1 P0 i )
является исключительно свойством i-ой высоты
в той же самой системе отсчета.
30.03.2017
Измерение компетенций и качества
образования
32

33. Параметры прыгуна и высоты полностью разделены

В модели измерения параметры
прыгуна и высоты полностью разделены
Это позволяет оценивать:
- уровень подготовленности прыгуна
независимо от уровня высоты;
- уровень высоты независимо от
уровня подготовленности прыгуна.
30.03.2017
Измерение компетенций и качества
образования
33

34. Диапазон варьирования найденных показателей

Подчеркнем, что
bn – это отношение вероятностей (odds),
которое
варьируется
от
нуля
до
бесконечности и зависит только от
прыгуна n и выбранной системы отсчета;
di также варьируется от нуля до
бесконечности и зависит только от i-ой
высоты и той же самой выбранной
системы отсчета.
30.03.2017
Измерение компетенций и качества
образования
34

35. Дихотомическая модель Раша

Таким образом, определен способ выявления
сильнейшего прыгуна.
Следующий, важный для практики вопрос –
насколько сильнее? Однако «насколько» это уже
не отношение – это разность.
Прологарифмировав обе части полученного
выше уравнения получаем
Pni
Pn 0
P0i
ln
ln
ln
ln bn ln di
(1 Pni )
(1 Pn 0 )
(1 P0i )
30.03.2017
Измерение компетенций и качества
образования
35

36. Дихотомическая модель Раша

Удобно ввести следующие обозначения
Pni
ln
Bn Di
(1 Pni )
Откуда следует, что
Pni
где
30.03.2017
exp Bn Di
1 exp Bn Di
Pn 0
Bn ln
ln bn
1 Pn 0
P0i
Di ln
1 Poi
Измерение компетенций и качества
образования
ln di
36

37. Дихотомическая модель является базовой в семействе моделей Раша

Модель Раша, используемая для представления
результатов тестирования, выводится на основе
аналогии с прыгунами, преодолевающими i-ую
высоту. Параметры Bn и Di рассматриваются как
уровень подготовленности испытуемого и
трудность задания соответственно.
Все остальные виды моделей Раша являются
производными от этой дихотомической модели.
30.03.2017
Измерение компетенций и качества
образования
37

38.

Благодарю за внимание!
Маслак Анатолий Андреевич,
дтн, проф., проректор по научной работе,
e-mail: [email protected]
Славянский-на-Кубани государственный
педагогический институт
www.sgpi.ru
30.03.2017
Измерение компетенций и качества
образования
38