Основные определения теории проверки гипотез
Основные определения теории проверки гипотез
Уровень значимости
Ошибки I и II рода
Этапы принятия статистического решения
Проверка гипотезы о соответствии исправленной выборочной дисперсии величине генеральной дисперсии нормальной совокупности
Проверка гипотезы о соответствии исправленной выборочной дисперсии величине генеральной дисперсии нормальной совокупности
Проверка гипотезы о соответствии выборочной средней величине генеральной средней нормальной совокупности
Метод p-value
Метод p-value
Задача оценивания
Свойства оценок
Метод моментов для точечной оценки параметра распределения
Метод моментов для точечной оценки параметра распределения
Метод максимального правдоподобия
Метод максимального правдоподобия
Метод максимального правдоподобия
Метод максимального правдоподобия
Статистическая задача оценивания
Теоретическое сравнение оценок
Статистическое сравнение оценок
Виды плотностей распределения основных распределений
446.00K
Категория: МатематикаМатематика

Основные определения теории проверки гипотез

1. Основные определения теории проверки гипотез

Пусть имеется выборка X 1 , X 2 ,... X n из генеральной совокупности с
неизвестной теоретической функцией распределения.
Определение: Статистической гипотезой называется любое
предположение о виде теоретической функции распределения, то есть
статистическая гипотеза – это рассматриваемое предположение о
величине параметра генеральной совокупности.. Имеются две
непересекающиеся гипотезы: Н0 и H1. Н0 – нулевая (основная) гипотеза,
H1 – альтернативная (конкурирующая) гипотеза. Принято считать, что Н0
–гипотеза о сходстве, H1 –гипотеза о различии.
• Нулевая гипотеза – это допущение, которое считается верным до тех
пор, пока не будет доказано обратное, исходя из результатов
статистической проверки.
• Альтернативная гипотеза – это гипотеза, которая принимается, если в
результате статистической проверки отвергается нулевая гипотеза.
Лекция №3, Статистическое
моделирование, Лакман И.А.
1

2. Основные определения теории проверки гипотез

Определение: Статистическим критерием (тестом) называется
правило, позволяющее на основании наблюдений X 1 , X 2 ,...X n принять
нулевую гипотезу Н0 или отвергнуть ее в пользу альтернативной H1.
Проверка гипотезы может быть односторонней или двусторонней.
Определение: Односторонний критерий используется в тех случаях,
когда необходимо знать, является ли параметр генеральной совокупности
> (правосторонний критерий) или < (левосторонний критерий)
предполагаемого значения.
Определение: Двусторонний критерий используется в тех случаях,
когда интересует, отличаются ли реальные значения параметра от
предполагаемого значения.
Определение: Критическую область составляют те значения
выборочных статистических показателей, которые ведут к отказу от
нулевой гипотезы.
Лекция №3, Статистическое
моделирование, Лакман И.А.
2

3. Уровень значимости

Определение: Уровень значимости – вероятность ошибочного
отклонения нулевой гипотезы Н0 (вероятность ошибки I рода). При
статистическом анализе исследователь должен выбрать необходимый
уровень значимости. При этом считают низшим уровнем значимости
значение α=0.05, достаточным уровнем - α=0.01, высшем уровнем α =0.001.
Иногда, доверительной вероятностью считается величина р=1- α
Возможные решения статистического критерия:
Результат
проверки
гипотезы
Н0 отклоняется
Н0
отклоняется
не
Возможные состояния проверяемой
гипотезы
Верна гипотеза
Верна гипотеза
Н0
H1
Ошибка I рода
Правильное
решение
Правильное
решение
Лекция №3, Статистическое
моделирование, Лакман И.А.
Ошибка II рода
3

4. Ошибки I и II рода

Определение 1: В процессе проверки гипотезы существует вероятность
того, что Н0 будет отвергнута, когда в действительности она должна быть
принята. Это называется ошибкой первого рода. Вероятность допущения
ошибки первого рода это уровень значимости. Таким образом, когда
выбирают 5% уровень значимости для проверки, одновременно допускают,
что в 5% случаев должны отвергнуть Н0, хотя она и верна.
Определение 2: Второй вид ошибок имеет место при принятии нулевой
гипотезы, в то время как в действительности она должна быть
отвергнута.такая ошибка называется ошибкой второго рода.
Действительность
Р
Е
Ш
Е
Н
И
Е
Н0 - верна
Обвиняемый
невиновен
Н0 - принята
Обвиняемый
освобожден
Х
Ошибка I рода
Н0 - отвергнута
Обвиняемый
Лекция №3, Статистическое
наказан
моделирование, Лакман И.А.
Н0 - ложна
Обвиняемый
виновен
Ошибка II рода
Х
4

5. Этапы принятия статистического решения

1.
2.
3.
4.
5.
6.
7.
8.
Формулировка нулевой и альтернативной гипотез.
Определение объема выборки.
Выбор соответствующего уровня значимости или вероятности
отклонения гипотезы Н0 ( p 0.05).
Выбор статистического метода, который зависит от типа решаемой
задачи.
Вычисление значения выборочной статистики K n K n ( X 1 , X 2 ,...X n ) на
основании наблюдений X 1 , X 2 ,...X n .
Если гипотеза Н0 верна, то распределение случайной величины K n
известно (затабулировано). Нахождение по таблице для выбранного
статистического метода критической области K для определенного
уровня значимости.
Сравнение эмпирического и критического значений. Если K n K ,
то принимается Н0; если K n K , то Н0 отвергается в пользу
альтернативной.
Формулировка принятия решения (выбор гипотезы Н0 или H1).
Лекция №3, Статистическое
моделирование, Лакман И.А.
5

6.

При попадании выборочной статистики в зону незначимости
принимается гипотеза Н0 об отсутствии различий. В случае попадания в
зону значимости принимается гипотеза H1 о наличии различий, а гипотеза
Н0
отклоняется. При попадании выборочной статистики в зону
неопределенности в зависимости от важности решаемой задачи можно
принять H1 на уровне 5% или принять Н0 на 1% уровне. В этом случае
можно допустить ошибки I или II рода. В этих обстоятельствах лучше
увеличить объем выборки.
Лекция №3, Статистическое
моделирование, Лакман И.А.
6

7. Проверка гипотезы о соответствии исправленной выборочной дисперсии величине генеральной дисперсии нормальной совокупности

Стандартизированный статистический критерий (тест) для проверки такой
(n 1) S 2
2
расч
гипотезы рассчитывается как:
,
(1)
02
где σ02– проверяемое значение генеральной дисперсии,
а S2– исправленная выборочная дисперсия, n – объем выборки.
Левосторонняя проверка: нулевая и альтернативная гипотезы имеют
вид:
Н0: S2=σ2 – равенство неизвестной генеральной дисперсии S2;
Н1: S2<σ2.
2
2
расч
1 , k ,
Правило принятия решения: принять Н0, если
отвергнуть Н0, если 2 2
расч
,k
Здесь α – уровень значимости принятия гипотезы, k=n-1 – число
степеней свободы 12 ,k - определяется по таблице χ2–распределения.
Лекция №3, Статистическое
моделирование, Лакман И.А.
7

8. Проверка гипотезы о соответствии исправленной выборочной дисперсии величине генеральной дисперсии нормальной совокупности

Правосторонняя проверка: нулевая и альтернативная гипотезы имеют вид:
Н0: S2=σ2 – равенство неизвестной генеральной дисперсии S2;
Н1: S2>σ2.
2
2
Правило принятия решения: принять Н0, если расч , k ,
отвергнуть Н0, если 2 2 .
расч
,k
Двусторонняя проверка: нулевая и альтернативная гипотезы имеют вид:
Н0: S2=σ2 – равенство неизвестной генеральной дисперсии S2;
Н1: S2≠σ2.
2
2
2
расч
Правило принятия решения: принять Н0, если 1 , k
,
,k
2
2
отвергнуть Н0 в противном случае.
Лекция №3, Статистическое
моделирование, Лакман И.А.
8

9. Проверка гипотезы о соответствии выборочной средней величине генеральной средней нормальной совокупности

Формируем гипотезы о равенстве генеральной μ и выборочной средней
μ0 .
Н0: μ=μ0;
Н1: μ≠μ0.
x 0
zкрит ,
Правило принятия решения: принять Н0, если zкрит
2
S /n
в противном случае принять Н1.
Zкрит определяется из таблиц функции Лапласа
из равенства Ф(zкрит)=(1-α)/2.
Лекция №3, Статистическое
моделирование, Лакман И.А.
9

10. Метод p-value

Величина р – это значение, которое в случае верности нулевой
гипотезы представляет собой вероятность получения величины
стандартизированного критерия проверки, большего по абсолютному
значению, чем рассчитанный критерий проверки.
В случае односторонней проверки Р равно площади под кривой
слева (левосторонняя проверка) или справа 9правосторонняя проверка)
от значения критерия проверки. В случае двусторонней проверки она
равна удвоенной площади в части под кривой справа или слева от
критерия проверки.
Односторонняя проверка
Двусторонняя проверка
Лекция №3, Статистическое
моделирование, Лакман И.А.
10

11. Метод p-value

В методе p-value правило принятия решения одинаково независимо то
того, выполняется левосторонняя, правосторонняя или двусторонняя
проверка. Обозначив степень значимости для проверки через α, получим
следующее правило принятия решения:
• Принять Н0, если p-value≥ α
• В противном случае, отвергнуть Н0.
Расчет величины р:
Для того чтобы найти величину р, прежде всего рассчитывают
стандартный критерий проверки, а затем, зная число степеней свободы,
находят вероятности (площади в граничных областях), соответствующие
показателям статистики (F или t или z), которые охватывают снизу и
сверху рассчитанный критерий проверки. После этого с помощью
интерполяции, исходя из полученных вероятностей, находят величину р.
Лекция №3, Статистическое
моделирование, Лакман И.А.
11

12. Задача оценивания

Пусть имеются данные выборки, например значения некоторого
признака, Х1, Х2,…, Хn, полученные в результате n наблюдений. Для
того чтобы найти статистическую оценку θ неизвестного
параметра теоретического распределения через эти данные
необходимо найти функцию от наблюдаемых случайных величин,
которые дают приближенное значение оцениваемого параметра.
Статистическую оценку, которая определяется одним числом,
называют точечной.
Лекция №3, Статистическое моделирование,
Лакман И.А.
12

13. Свойства оценок

Полученные оценки должны быть достоверными, т.е. обладать
свойствами несмещенности, эффективности и состоятельности.
• Несмешанной называют статистическую оценку θ*, математическое
ожидание которой равно оценивающему параметру θ при любом
объеме выборки, т.е. М(θ*)= θ .
• Эффективной оценкой называют статистическую оценку θ*, которая
при заданном объеме выборки n имеет наименьшую возможную
дисперсию.
• Состоятельной называют статистическую оценку, которая при n→ ∞
и стремится по вероятности к оцениваемому параметру, т.е.:
lim P ( *) .
n
Лекция №3, Статистическое
моделирование, Лакман И.А.
13

14. Метод моментов для точечной оценки параметра распределения

Оценка одного параметра
Вид плотности распределения f(x, θ).
Требуется найти точечную оценку ˆ .
Для оценки одного параметра достаточно
относительного этого параметра.
Пусть M ( x ) xв
Тогда M ( x )
x f ( x, )dx ( )
одного
уравнения,
( ) xв
Решив уравнение
относительно параметра θ , найдем точечную оценку ˆ
Следовательно оценка есть функция от вариант выборки:
ˆ ( x1 , x2 ,..., xn )
Лекция №3, Статистическое
моделирование, Лакман И.А.
14

15. Метод моментов для точечной оценки параметра распределения

Оценка двух параметров
Вид плотности распределения f(x, θ1, θ2).
Требуется найти точечные оценки ˆ и ˆ
1
2
Для оценки двух параметров достаточно системы двух уравнений,
относительного этих параметров.
M ( x ) xв
Пусть
D( x ) Dв
Тогда M ( x ) x f ( x, 1 , 2 )dx 1 ( 1 )
D( x ) M ( x 2 ) M ( x ) 2 ( )
2 2
Решив систему относительно параметров θ1, θ2 , найдем точечные оценки ˆ1 ˆ2
Следовательно оценки есть функции от вариант выборки:
ˆ1 1( x1 , x2 ,..., xn )
ˆ2 2 ( x1 , x2 ,..., xn )
Лекция №3, Статистическое
моделирование, Лакман И.А.
15

16. Метод максимального правдоподобия

Для дискретных случайных величин.
Пусть Х дискретная случайная величина, которая принимает возможные
значения х1, х2,…,хп. Пусть закон распределения задан, но неизвестен
параметр распределения θ . Требуется найти точечную оценку ˆ .
Вероятность того, что величина Х , примет значение хi , р(хi , θ).
Определение: Функцией правдоподобия дискретной случайной величины
Х называют функцию аргумента θ
n
L( x1 , x2 ,..., xn ; ) p( x1; ) p( x2 ; ) ... p( xn ; ) П p( xi ; )
i 1
Где х1, х2,…,хп. – фиксированные числа.
Определение: Логарифмической функцией правдоподобия дискретной
случайной величины Х называют функцию аргумента θ
n
l ln L( x1 , x2 ,..., xn ; ) p( xi ; )
i 1
Лекция №3, Статистическое
моделирование, Лакман И.А.
16

17. Метод максимального правдоподобия

Определение: Оценкой максимального правдоподобия называют такую
оценку ˆ , для которой функция правдоподобия достигает максимума.
ˆ max L( x1, x2 ,..., xn ; ) max l ( x1, x2 ,..., xn ; )
i 1
i 1
Для ее нахождения решают
правдоподобия: d ln L
0
d
уравнение,
называемое
уравнением
2
d
ln L
ˆ
ˆ
Если при θ= ,
0 , то - точка максимума.
d 2
Лекция №3, Статистическое
моделирование, Лакман И.А.
17

18. Метод максимального правдоподобия

Для непрерывных случайных величин.
Пусть Х непрерывная случайная величина, которая пв результате
испытания приняла значения х1, х2,…,хп. Пусть вид плотности
распределения f(x) известен, но неизвестен параметр распределения θ.
Требуется найти точечную оценку ˆ .
Определение: Функцией правдоподобия непрерывной
величины Х называют функцию аргумента θ:
случайной
n
L( x1, x2 ,..., xn ; ) f ( x1; ) f ( x2 ; ) ... f ( xn ; ) П f ( xi ; )
Где х1, х2,…,хп. – фиксированные числа.
i 1
Оценку максимального правдоподобия неизвестного параметра
распределения непрерывной случайной величины ищут также, как и в
случае с дискретной случайной величины.
Лекция №3, Статистическое
моделирование, Лакман И.А.
18

19. Метод максимального правдоподобия

Для непрерывных случайных величин.
Если плотность распределения f(x) непрерывной случайной величины Х
определяется двумя неизвестными параметрами θ1, θ2, то функция
правдоподобия является функцией двух аргументов θ1, θ2 :
n
L( x1 , x2 ,..., xn ; 1 , 2 ) f ( x1; 1 , 2 ) f ( x2 ; 1 , 2 ) ... f ( xn ; 1 , 2 ) П f ( xi ; 1 , 2 )
Где х1, х2,…,хп. – фиксированные числа.
i 1
Для нахождения параметров θ1, θ2 решают систему уравнений:
ln L
0,
ln1L
0.
2
Лекция №3, Статистическое
моделирование, Лакман И.А.
19

20. Статистическая задача оценивания

Задача: по наблюдениям х1, х2,…,хп над случайной величиной Х,
распределенной равномерно на отрезке [0, a], оценить неизвестный
параметр а.
Сравним три способа оценивания:
1.
2 n
ˆ
Метод моментов a1 n xi
i 1
2.
Метод максимального правдоподобия aˆ 2
3.
Метод порядковых статистик
Где
xˆ 0,5
x( k ) x( k 1)
n 1
max xi
n
i
aˆ3 2 xˆ0,5 x( k ) x( k 1)
- выборочная квантиль порядка 0,5, т.е.
2
выборочная медиана, х(k) - член вариационного ряда с номером k.
(причем n=2k).
Лекция №3, Статистическое
моделирование, Лакман И.А.
20

21. Теоретическое сравнение оценок

1.
Все оценки aˆ1 , aˆ 2 , aˆ 3 являются несмещенными, их математические
ожидания равны истинным параметрам а. (доказать сам-но)
2.
Дисперсии оценок: (будет доказано на лекции)
2 n a2
Daˆ1 D xi
n i 1 n
a2
n 1
Daˆ 2 D
max xi
i
n
n( n 2)
a2
Daˆ3 D x( k ) x( k 1)
n
3.
Наименьшую дисперсию имеет третья оценка
Примечание: Для получения значения дисперсии для третьей оценки использовали:
Теорема Крамера: Выборочная р-квантиль имеет дисперсию приближенно равную
1 p(1 p )
n f 2 ( x p ) , где хр – истинная р-квантиль, f(x) – плотность
распределения наблюдений выборки.
Лекция №3, Статистическое
моделирование, Лакман И.А.
21

22. Статистическое сравнение оценок

1.
Значение оценок концентрируются в окрестности оцениваемого
параметра (свойство несмещенности).
2.
С ростом числа наблюдений в выборке точность (величина разброса)
оценок улучшается (свойство несмещенности).
То есть размах R и стандартное отклонение S уменьшается.
R max ai min ai
3.
1 n
Sa
( ai a ) 2
n 1 i 1
1 n
a ai
n i 1
Различные оценки различаются по величине средней ошибки. Откуда
следует, что различные способы обработки наблюдений нужно
сравнивать по величине среднего значения некоторого критерия
качества, например среднего квадрата ошибки.
Лекция №3, Статистическое
моделирование, Лакман И.А.
22

23. Виды плотностей распределения основных распределений

Распределение Фишера с т и п степенями свободы
n m
m
n m
m
1
m 2
2 m 2
2
f ( x)
x
1 x
n
n m n
2 2
Распределение «Хи-квадрат» с п степенями свободы
1
f ( x)
2
n
2
n
2
x
n 1
2
e
x
2
Распределение Стьюдента с т степенями свободы
m 1
m 1
2
1
x 2 2
f ( x)
1
m
m m
2
Здесь 0 x , а Г – гамма-функция.
Лекция №3, Статистическое
моделирование, Лакман И.А.
23
English     Русский Правила