Проверка статистических гипотез. Сравнение выборочной дисперсии с математическим ожиданием

1.

Лекция 15
Проверка статистических
гипотез. Сравнение
выборочной дисперсии с
математическим ожиданием.
Сравнение двух дисперсий.
Аскарова А.Ж.

2. План лекции

1. Статистическая гипотеза.
2. Классификация гипотез.
3. Ошибки проверки гипотез.
4. Схема проверки гипотез.
5. Сравнение двух дисперсий.
Аскарова А.Ж.

3. Статистическая гипотеза

• Человеку часто приходится принимать то или
иное решение. В большинстве принимаемых
решений содержится элемент риска. Однако, во
многих случаях степень риска может быть
снижена.
• Например, принятию решения о переходе на
новую технологию производства какого-либо
изделия должна предшествовать
экспериментальная проверка этой технологии,
сбор необходимой информации, ее обработка,
проверка того, говорят ли собранные данные в
пользу новой технологии.
Аскарова А.Ж.

4. Статистическая гипотеза

• Часто необходимо знать закон распределения
генеральной совокупности. Если закон
распределения неизвестен, то имеются
основания предположить, что он имеет
определенный вид «А», выдвигают гипотезу:
генеральная совокупность распределена по
закону «А».
• Таким образом, в этой гипотезе речь идет о
виде предполагаемого распределения.
Аскарова А.Ж.

5. Статистическая гипотеза

• Возможен случай, когда закон распределения
известен, а его параметры неизвестны. Если
есть основания предположить, что
неизвестный параметр Ө равен определенному
значению Ө0, выдвигают гипотезу Ө = Ө0
• Таким образом, в этой гипотезе речь идет о
предполагаемой величине параметра одного
известного распределения.
• Возможны и другие гипотезы: о равенстве
параметров двух или нескольких
распределений, о независимости выборок и
многие другие.
Аскарова А.Ж.

6. Статистическая гипотеза -

Статистическая гипотеза это гипотеза
о видах неизвестного распределения или
о параметрах известного распределения.
Проверка статистической гипотезы
заключается в сопоставлении некоторых
статистических показателей, вычисленных по
данным выборки со значениями этих же
показателей, определенных теоретически в
предположении, что проверяемая гипотеза верна.
Аскарова А.Ж.

7. Статистическая гипотеза -

Статистическая гипотеза Статистическими являются гипотезы:
1)Генеральная совокупность распределена по
закону Пуассона. (вид распределения)
2)Дисперсии двух нормальных совокупностей
равны
между
собой.
(параметры
двух
неизвестных)
Гипотеза «На Марсе есть жизнь» не
является статистической, так как в ней не идет
речь ни о виде, ни о параметрах распределения.
Аскарова А.Ж.

8. Классификация гипотез

Выдвинутая (нулевая)
Конкурирующая (альтернативная).
Выдвинутая (нулевая) гипотеза Н0 – гипотеза,
подлежащая проверке.
Конкурирующая (альтернативная) гипотеза Н1 –
каждая допустимая гипотеза, отличная от нулевой.
Пример:
Если Н0 состоит в предположении, что
математическое ожидание М(Х) нормального
распределения равно 10, то Н1 может состоять в
предположении, что М(Х) не равно 10.
Н0: М(Х)=10.
Н1: М(Х)≠10

9. Классификация гипотез

По количеству предположений: простые,
сложные.
Простая – это гипотеза содержащая только одно
предположение.
Сложная – гипотеза состоящая из конечного или
бесконечного числа простых гипотез.

10. Примеры:

• Если λ – параметр распределения Пуассона,
то гипотеза H0: λ = 5 является простой.
• Нулевая гипотеза о том, что математическое
ожидание нормального распределения равно 3
(при известной дисперсии) H0 : а=3 также
является простой.
• Сложная гипотеза H0 : λ >7 состоит из
множества простых гипотез вида Hi : λ=ki , где
ki - любое число, большее семи.

11. Ошибки проверки статистических гипотез

Ошибка первого рода или «ложная тревога» состоит в том,
что будет отвергнута правильная гипотеза.
Вероятность ошибки первого рода называется уровнем
значимости и обозначается α.
Ошибка второго рода или «пропуск цели» состоит в том,
что будет принята неправильная гипотеза.
Вероятность ошибки второго рода обозначается .
Величина 1- называется мощностью критерия.
На практике, наиболее часто используют α=0,05,
это означает, что в 5 случаях из 100 имеется риск
допустить ошибку первого рода, т.е. отвергнуть
правильную гипотезу.

12.

Ошибки проверки статистических гипотез
• Последствия ошибок первого и второго
рода могут быть совершенно разными.
• В частности, в книгах по контролю
качества продукции считается, что
–
риск «производителя», т.е. забраковка всей
партии изделий, удовлетворяющих
стандарту.
• А
– риск «потребителя», т.е. прием по
выборке всей партии товаров, не
удовлетворяющих стандарту.

13.

РЕЗУЛЬТАТЫ ПРОВЕРКИ
СТАТИСТИЧЕСКИХ ГИПОТЕЗ

14. Пример

• Группа исследователей в области животноводства
разработала новый вид кормов, полагая, что эти
корма способны повысить жирность молока.
Однако может быть и так, что они ошибаются.
• Выдвигают нулевую гипотезу Н0 , которая состоит
в том, что при использовании данного корма
средняя жирность молока остается неизменной.
Наряду с этим рассматривают гипотезу,
состоящую в том,
что данный вид кормов эффективен
(альтернативная гипотеза Н1 ). Предполагается,
что закон распределения СВ Х – жирность молока
известен.

15. Пример

16. Пример

• Ошибка первого рода – на самом деле
жирность молока не изменилась, но
жирность молока, полученная по выборке,
значительно отличается от прежней.
• Ошибка второго рода – на самом деле
жирность молока изменилась, но жирность
молока, полученная по выборке,
незначительно отличается от прежней.

17. Принципы проверки статистических гипотез

• 1. Формулируют нулевую гипотезу. Нулевую гипотезу
обозначают Н0 . Она представляет собой такое утверждение,
которое принимается тогда, когда нет убедительных аргументов
для его отклонения. Альтернативную гипотезу обозначают Н1 .
Ей отдают предпочтение только тогда, когда есть убедительное
статистическое доказательство, которое отвергает
приемлемость нулевой гипотезы.
• 2.Получают статистические (результаты наблюдений) данные
о событиях, относительно которых была сформулирована
нулевая гипотеза.
• 3. Определяют вероятность того, что полученный результат
мог быть получен при условии, что нулевая гипотеза верна.
Результаты наблюдений зависят от случая. Поэтому
статистические гипотезы носят не категорический характер, а
характер правдоподобного утверждения, которое имеет вполне
определенную вероятность.

18. Принципы проверки статистических гипотез

• 4. Если вероятность получения данного результата при
условии, что нулевая гипотеза верна, мала, нулевую
гипотезу отвергают на уровне значимости, равном этой
вероятности. Если вероятность получения данного
результата мала, то он практически невозможен, т.е. в
однократном эксперименте практически не может быть
получен. Другими словами, соответствующее событие
практически не должно произойти, если верна нулевая
гипотеза. Если же в конкретном эксперименте событие
произошло, то нулевая гипотеза не верна, и ее отвергают
на определенном уровне значимости. В этом и состоит
сущность принципа практической уверенности.
• 5. Признают, что и в том случае, когда отвергают и когда
не отвергают нулевую гипотезу, возможен определенный
риск.

19. Статистический критерий

Другой порядок проверки статистических гипотез
Для проверки Н0, используют специально подобранную
случайную величину, точное или приближенное значение
которой известно.
Эту величину обозначают через:
U или Z, если она распределена нормально;
F или ² - по закону Фишера;
² - по закону «хи квадрат»;
Т или t - по распределению Стьюдента.
Статистическим критерием называют случайную
величину, служащую для проверки Н0.
Наблюдаемым значением критерия называют значение
критерия, выраженное по данным выборки.

20. Критическая область

После выбора определенного критерия множество
всех его возможных значений разбивается на два
подмножества:
содержит значения критерия, при котором Н0
отвергается;
содержит значения критериев, при которых Н0
принимается.
Критической областью называют, совокупность
значений критерия, при которой Н0 отвергается.
Областью принятия гипотезы (областью допустимых
значений), называют совокупность значений критерия,
при которой Н0 принимают.

21.

Основной принцип проверки статистических
гипотез:
если наблюдаемое значение критерия принадлежит
критической области, то гипотезу отвергают;
если наблюдаемое значение критерия принадлежит
области покрытия гипотезы, то гипотезу принимают.
Критическая область и область покрытия гипотез – это
интервалы, следовательно существует точка которая их
разделяет.
Критической точкой (границей), называют точку
(квантиль), отделяющую критическую область от области
принятия гипотез.

22.

Типы критической области
1. Односторонняя критическая область:
Левосторонняя - определяемая неравенством К<Ккр
Правосторонняя - определяемая неравенством К>Ккр
2. Двусторонняя критическая область –
определяемая двумя неравенствами К<Кı и К>К2; Кı<К2

23.

При отыскании критической области задают α (уровень
значимости)
Ищут критические точки, исходя из требований, что
критерий К примет значение, лежащее в критической
области.
При этом вероятность такого события равна принятому
уровню значимости α, т.е.
для правосторонней области Р(К>Ккр)= α;
для левосторонней области Р(К<Ккр)= α;
для двусторонней области Р(К>|Ккр|)= α/2
Если наблюдаемое значение критерия принадлежит
критической области, нулевую гипотезу отвергают, если не
принадлежит, то нет оснований отвергать Н0.
Для многих критериев составлены таблицы:
Стьюдента; χ²; Фишера

24. Общая схема проверки гипотез

1. Формулируются гипотезы Н0 и Н1.
2. Выбирается уровень значимости критерия . Он равен вероятности
3.
4.
5.
допустить ошибку первого рода.
По выборочным данным вычисляется значение некоторой
случайной величины, называемой статистикой критерия, или просто
статистическим критерием, который имеет известное стандартное
распределение (нормальное, Т-распределение Стьюдента и т.п.)
Вычисляется критическая область и область принятия гипотезы. То
есть находят критическое (граничное) значение критерия при
выбранном уровне значимости.
Найденное значение критерия сравнивается с критическим и по
результатам сравнения делается вывод: отвергнуть гипотезу или не
отвергнуть.
Если вычисленное по выборке значение критерия меньше чем
критическое, то нулевую гипотезу Н0 не отвергают на заданном
уровне значимости.
Если вычисленное значение критерия больше критического, то
гипотеза Н0 отклоняется в пользу гипотезы Н1 при данном уровне
значимости.

25. Проверка однородности выборок в прикладных задачах

В прикладных исследованиях часто возникает необходимость
выяснить:
• различаются ли генеральные совокупности, из которых
взяты две независимые выборки;
• изменилась ли генеральная совокупность после
воздействия.
В математико-статистических терминах постановка задачи
такова:
имеются две выборки x1, x2,...,xm и y1, y2,...,yn, требуется
проверить их однородность, т.е. требуется проверить, есть
ли различие между выборками.
Если имеющееся различие средних значений нельзя
объяснить случайными статистическими колебаниями,
то говорят о значимом различии.

26. Однородность выборок

Понятие «однородность», т. е. «отсутствие различия»,
может быть формализовано в терминах вероятностной
модели различными способами:
1 способ:
• Обе выборки взяты из одной генеральной совокупности,
т. е. справедлива нулевая гипотеза
H0 : F(x)=G(x) при всех х.
• Отсутствие однородности означает, что верна
альтернативная гипотеза, согласно которой
H1 : F(x0) G(x0) хотя бы при одном значении
аргумента x0.
Если гипотеза H0 принята, то выборки можно объединить в
одну, если нет - то нельзя.

27. 2 способ:

В некоторых случаях целесообразно проверять не совпадение
функций распределения, а совпадение некоторых характеристик
случайных величин Х и Y - математических ожиданий, медиан,
дисперсий, коэффициентов вариации и др.
• Например, однородность математических ожиданий означает,
что справедлива гипотеза H'0 : M(X)=M(Y), где M(Х) и M(Y) математические ожидания случайных величин Х иY, результаты
наблюдений над которыми составляют первую и вторую
выборки соответственно.
Доказательство различия между выборками в рассматриваемом
случае - это доказательство справедливости альтернативной
гипотезы H'1 : M(X) M(Y) .
• Если гипотеза H0 верна, то и гипотеза H'0 верна, но из
справедливости H'0 не следует обязательно справедливость H0:
математические ожидания могут совпадать для различающихся
между собой функций распределения.

28. Независимость выборок

• Если можно установить гомоморфную пару (то есть, когда
одному случаю из выборки X соответствует один и только
один случай из выборки Y и наоборот) для каждого случая
в двух выборках (и это основание взаимосвязи является
важным для измеряемого признака), такие выборки
называются зависимыми.
Примеры зависимых выборок: пары близнецов, два
измерения какого-либо признака до и после
экспериментального воздействия и т. п.
• В случае, если такая взаимосвязь между выборками
отсутствует, то эти выборки считаются независимыми,
например: психологи и математики.
• Соответственно, зависимые выборки всегда имеют
одинаковый объём, а объём независимых может
отличаться.

29. Параметрические методы проверки однородности выборок

Традиционный метод проверки однородности двух
независимых выборок (критерий Стьюдента)
Выдвигаются: нулевая гипотеза о равенстве средних и
альтернативная, о том, что средние не равны.
Вычисляют выборочные средние арифметические и
дисперсии в каждой выборке и статистику Стьюдента t,
на основе которой принимают решение.
По заданному уровню значимости и числу степеней
свободы (m+n - 2) из таблиц распределения Стьюдента
находят критическое значение tкр.
Если |t| > tкр, то гипотезу однородности (отсутствия
различия) отклоняют, если же |t| <tкр,то - принимают.

30. Параметрические методы проверки однородности выборок

Количество степеней свободы — это
количество значений в итоговом
вычислении статистики, способных
варьироваться.
Иными словами, количество степеней свободы
показывает размерность вектора из случайных
величин, количество «свободных» величин,
необходимых для того, чтобы полностью
определить вектор.
• Количество степеней свободы может быть не
только натуральным, но и
любым действительным числом.

31. t-критерий

32. t-критерий

33. t-критерий можно использовать лишь при выполнении следующих условий:

1. Наблюдения в каждой из рассматриваемых
групп взяты случайным образом из одной и
той же генеральной совокупности
(например, две группы студентов одного
курса или дети одного возраста и т.д.)
2. Наблюдения имеют нормальные
распределения или объем каждой выборки
не превышает 30 значений.

34.

ПРИМЕР.
Табл. 1
Данные диагностики до начала экспериментального обучения
Студент
ы
Баллы
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
все
го
Х
14
16
16
17
17
18
18
18
18
18
20
20
24
25
27
27
27
28
28
28
424
≈ 21,2
Табл. 2
Данные диагностики по окончании экспериментального обучения
Студент
ы
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
все
го Х
Баллы
16
18
18
19
20
20
20
20
22
24
24
25
26
26
27
28
28
28
29
30
448
24,3
5
Выяснить с помощью t-критерия Стьюдента, являются
ли различия в показателях до начала экспериментального
обучения и после такого обучения статистически
значимыми.

35. Решение:

Для сравнения полученных результатов,
применив t – критерий Стьюдента
сформулируем гипотезы:
нулевая гипотеза H0 – разница между
показателями до экспериментального обучения
и после такого обучения имеет лишь случайные
различия;
альтернативная гипотеза H1 – разница между
показателями до экспериментального обучения
и после такого обучения имеет не случайные
различия.

36. Решение:

Для равночисленных выборок Д1 и Д2
t эмп =
X Y
х у у у
2
i
n 1 n
2
i

37. Решение:

ВЫВОД. Так как t эмп больше t кр, то гипотеза H0
отклоняется и принимается гипотеза H1 .
Это означает, что разница между показателями до
экспериментального обучения и после такого обучения
имеет не случайные различия.

38. Сравнение двух дисперсий

Рассмотрим гипотезу о параметрах нормального
распределения. Пусть имеется две серии опытов,
регистрирующие значение некоторой случайной
величины.
Х: х1, х2 … хn
Y: y1, y2 … уn
Осуществим проверку нулевой
равенстве
дисперсий
при
математических ожиданиях.
Н0: Dx =Dy
гипотезы о
неизвестных

39. Сравнение двух дисперсий

Постановка задачи.
Пусть даны две случайные величины Х и Y, распределенные
нормально. По данным выборки объем их nx и ny подсчитаны
выборочные дисперсии.
Цель работы: при заданном уровне значимости α проверить
нулевую гипотезу о равенстве дисперсий.
Такая задача возникает при сравнении точности двух
приборов, или при сравнении различных методов измерения.
Т.е. когда выборочные дисперсии отличаются, возникает
вопрос значимости или не значимости этого различия.
Если различие неразличимо, то имеет место нулевая гипотеза,
т.е. приборы, например, имеют одинаковую точность.
А
различия
выборочных
дисперсий
объясняются
случайными причинами.

40. Механизм проверки

По данным выборок значений nх и nу, вычисляют
наблюдаемое значение критерия как отношение
большей дисперсии к меньшей:
2
S большая
Fнабл 2
S меньшая
Fнабл
max(S 2x , S 2y )
2
x
2
y
min(S , S )
Критическая область строится в зависимости от
конкурирующей гипотезы.

41. Механизм проверки

По таблицам распределения Фишера, по заданному
уровню значимости α и вычисленным степеням свободы
υx, υy находят табличное значение критерия:
для альтернативной гипотезы Н1: Dx >Dy
Fкр в зависимости от параметров Fкр (α, υx, υy)
для альтернативной гипотезы Н1: Dx ≠ Dy
Fкр в зависимости от параметров Fкр (α/2, υx, υy)
Если Fнаб >Fкр, то Н0 отвергают.
Если Fнаб <Fкр, то нет оснований отвергать Н0,
предположение о том что Dx =Dy, принимается с уровнем
α, в 95% случаях – с доверительной вероятностью.

42. F -- критерий

• F - критерий Фишера
• Критерий Фишера позволяет сравнивать
величины выборочных дисперсий двух рядов
наблюдений.
• Для вычисления F эм п нужно найти отношение
дисперсий двух выборок, причем так, чтобы
большая по величине дисперсия находилась бы в
числителе, а меньшая знаменателе.

43. F -- критерий

44. F -- критерий

• Поскольку, согласно условию критерия, величина
числителя должна быть больше или равна
величине знаменателя, то значение F эм п всегда
будет больше или равно единице, т.е. F эм п 1 .
• Число степеней свободы определяется также
k1 n1 1
просто:
для первой (т.е. для той
выборки, величина дисперсии которой больше)
и
k2 n2 1 для второй выборки.

45.

ПРИМЕР:
По двум малым независимым выборкам объемов
nx=11 и ny=14 из нормальных распределений
найдены исправленные выборочные дисперсии
S²x =0.76 и S2y=0.38. При уровне значимости α=0.05
проверить нулевую гипотезу Н0: Dx=Dy о равенстве
дисперсий при конкурирующей гипотезе Н1: Dx>Dy.
Решение:
Найдем отношение большей исправленной
дисперсии к меньшей:
Fнабл = S²б / S²м = 0.76 / 0.38 = 2
Аскарова А.Ж.

46.

По условию конкурирующая гипотеза имеет вид
Н1: Dx>Dy, поэтому критическая область –
правосторонняя. По таблице критических точек
распределения Фишера, по уровню значимости
α=0,05 и числам степеней свободы
k1 = nx – 1 = 11 – 1 = 10 и
k2 = ny – 1 = 14 – 1 = 13
находим критическую точку:
Fкр (α, kı, k2) = Fкр (0.05,10,13) = 2.67
Так как Fнабл = 2. < Fкр = 2.67, то нет оснований
отвергать Н0 о равенстве дисперсий.
Другими словами, исправленные выборочные
дисперсии различаются незначимо.
Аскарова А.Ж.