Статистичні помилки. Статистичні гіпотези та їх перевірка. Параметричні і непараметричні критерії перевірки

1. Статистичні помилки. Статистичні гіпотези та їх перевірка. Параметричні і непараметричні критерії перевірки. Аналіз закону розподілу. Пор

1.
2.
3.
4.
5.
6.
Статистичні помилки. Статистичні
гіпотези та їх перевірка. Параметричні і
непараметричні критерії перевірки.
Аналіз закону розподілу. Порівняння
двох груп даних
Статистичні помилки
Статистичні гіпотези
Рівень значущості. Довірча ймовірність. Помилки першого і
другого роду
Параметричні і непараметричні статистичні критерії.
Потужність критерію
Перевірка гіпотези про нормальний розподіл генеральної
сукупності
Порівняння двох груп даних за кількісною ознакою:
параметричні і непараметричні критерії

2. Статистичні помилки - 2 категорії

1.
Статистичні помилки 2 категорії
Пов’язані з оцінюванням
генеральних параметрів похибки вибірковості
(репрезентативності,
стандартні похибки)
характерні для всіх вибіркових
характеристик
Виникають при перевірці
статистичних гіпотез – пов’язані
з помилковим відхиленням
вірної або прийняттям невірної
статистичної гіпотези –
помилки 1-го і 2-го роду
Помилка першого роду (α) –
відхиляється вірна статистична
гіпотеза
Помилка другого роду (β) –
приймається помилкова
статистична гіпотеза

3. Похибки репрезентативності

Середнього
арифметичного:
m sx
n
Стандартного
відхилення:
s
2n
Медіани:
Дисперсії:
sMe s x
2
1.253
n
D
s
2n

4. 2. Статистичні гіпотези

Нульова гіпотеза Н0:
причина результату,
який спостерігається на
вибірці, - випадковість
Приклад:
“генеральні середні рівні ”,
тобто
М(Х1) - М(Х2) = 0
“в генеральній сукупності
зв’язок між показниками не
існує”
Альтернативна гіпотеза
НА (Н1): причина
результату, який
спостерігається на
вибірці, - закономірність,
об’єктивно існує
Приклад:
“генеральні середні не рівні ”,
тобто
М(Х1) - М(Х2) # 0
Або М(Х1) <(>) М(Х2)
Перевіряють за допомогою статистичних критеріїв

5. Односторонні та двосторонні статистичні критерії

Альтернативні
гіпотези :
направлена
М(Х1) < М(Х2)
або
М(Х1) > М(Х2)
та
ненаправлена
М(Х1) ≠ М(Х2)
Односторонній статистичний
критерій (при α=0,05):
5%
5%
Двосторонній статистичний
критерій (при α=0,05):
2,5%
2,5%

6. Приклад:

Досліджували дію харчової
домішки на інтенсивність
росту тварин: 20 щурів
поділили на 2 групи –
контроль (К) і проба (П). П
отримували домішку, про яку
передбачали, що вона
збільшує швидкість приросту
маси. Через 1 місяць середні
прирости становили:
xK 50 г, хП 55 г
Критерій t=+1,87. Задача:
перевірити, чи різниця між
масами є статистично
значущою.
Гіпотези:
Н0 - середні рівні, тобто:
M (XK ) M (X П )
Н1 – домішка посилює
наростання маси, тобто:
M (XK ) М (X П )
Односторонній статистичний
критерій
tst (k=20-2, α=0.05) = 1.73
tst < t: 1.73<1.87
Відхиляємо нульову гіпотезу

7. Статистичні критерії

Параметричні – функції,
побудовані на основі
параметрів сукупності
(наприклад, x , )
Застосовуються для
сукупностей,
розподілених за
нормальним законом
Непараметричні –
функції, які залежать
безпосередньо від
значень вибірки (хі) та їх
частот (fi)
Застосовуються для
сукупностей,
розподілених законом,
відмінним від
нормального (незалежно
від закону розподілу)

8. Алгоритм перевірки статистичної гіпотези

1.
Формулюємо гіпотезу
2.
Вибираємо статистичний критерій для перевірки гіпотези
3.
На основі вибіркових даних розраховуємо значення
критерію
4.
Порівнюємо розраховане значення критерію з табличним
(критичним) значенням
5.
Коли маємо статистично значущий результат, гіпотезу
відхиляємо, коли критерій не досяг необхідного рівня
значущості, оцінюємо його потужність
6.
Залежно від потужності критерію робимо висновок про
справедливість гіпотези

9. 3. Рівень значущості. Довірча ймовірність. Помилки першого і другого роду

Рівень значущості (α) –
ймовірність помилки, яку
припускають при оцінюванні
прийнятої гіпотези
рівні значущості при оцінюванні
статистичних гіпотез /
нормовані відхилення:
5% - α=0,05 / t=1,96
1% - α =0,01 / t=2.58
0,1% - α =0,001 / t=3.29
Довірча ймовірність (Р = 1- α)
Потужність критерію (1-β)
– ймовірність відкинути
помилкову нульову гіпотезу,
Показник потужності –
величина, яка показує
ймовірність з допомогою
вибіркового дослідження
виявити ефект, який є в
генеральній сукупності
Прийнято приймати
статистичну гіпотезу Н0 при
β>20%.

10. Оцінювання потужності статистичного критерію

Чисельність вибірки, яка необхідна для отримання
статистично значущої різниці між показниками 2
груп:
( z z )
n 2
2
n – чисельність групи,
α – рівень значущості,
β – помилка 2-го роду,
δ – різниця між показниками,
z – нормоване відхилення (для певних α і β, табл. для
норм.р.),
σ – стандартне відхилення

11. Приклад:

В експериментах було
попередньо визначено різницю
між значеннями деякої ознаки
в контрольній і дослідній групі,
різниця
| xK хП | 0.25
стандартне відхилення (σ=0,5).
Необхідно довести значущість
цієї різниці з допомогою
двостороннього критерію
Стьюдента при р=0,05 і
потужності критерію 80%. Яку
вибірку (n) треба взяти для
того, щоб результат був
статистично значущий?
Отже, маємо: α=0,05; δ=0,25;
σ=0,5; 1-β=0,8
Тоді з таблиці zα =1.96 (для
α=0.05); zβ =0,842 (для β=0,2),
маємо:
2
( z z )
n 2
2
(1.96 0.842) * 0.5
n 2
62.8
0.25
Тобто n в кожній групі має
бути не менше 63, у 2-х групах
126 об’єктів

12. 2 роди помилок вибіркового дослідження

При дослідженні вибірки
В
генеральній
Відмінність не
Відмінність
виявлена
сукупності
виявлена
Є відмінність
Істинно позитивний
результат.
Потужність критерію
(1-β)
Помилково негативний
результат.
Помилка 2-го роду (β)
Немає
відмінності
Помилково позитивний
результат.
Помилка 1-го роду (α)
Істинно негативний
результат
(1-α)

13. Порівняння 2 вибірок

Наскільки можна
бути впевненими,
що відмінності між
генеральними
сукупностями
дійсно існують
Наскільки великі
відмінності між
генеральними
сукупностями (їх
параметрами)
Перевіряють
статистичні
гіпотези
Використовують
довірчі інтервали
Часто обидва підходи комбінують

14.

Формулю
-вання
прикладної задачі
Формулювання
статистичної задачі
Порівнянн
Перевірка
я
гіпотези про
показників
рівність
контрольсередніх
ної і
(центрів
експери- розподілу) в
ментально
двох
ї вибірок
незалежних
вибірках
Додаткові умови
Нормальний
закон
розподілу
Закон
розподілу
відмінний від
нормального,
або дані
нечислової
Метод, який
застосовують
Дисперсії
вибірок рівні
t-критерій
(Стьюднта) при
рівних дисперсіях
Дисперсії
вибірок нерівні
t-критерій без
передбачення щодо
дисперсій
Без
передбачення
про дисперсії
вибірок (але з
однаковим
розмі-ром
вибірок)
t-критерій без
передбачення щодо
дисперсій
Дисперсії
вибірок рівні,
незалежні
вибірки
Манна-Уітні (Uкритерій
Уілкоксона-МаннаУітні)
Без
Двовибірковий

15.

Формулювання
прикладної
задачі
Формулювання
статистичної
задачі
Чи можна
вважати, що
середнє
значення
показника
вибірки
дорівнює
деякому
номінальному
значенню?
Перевірка
гіпотези про
рівність
середнього і
константи
Порівняння
розсіяння
показника в
двох вибірках
Перевірка
гіпотези про
рівність
дисперсій
Додаткові умови
Метод, який
застосовують
Нормальний закон розподілу
Одновибірковий
t-критерій
(Стьюднта)
Закон розподілу відмінний від
нормального або дані
вимірюються за допомогою
нечислової шкали
Гупта, знаковий
Нормальний закон розподілу
F-критерій
(Фішера)
Закон розподілу відмінний від
нормального або дані
вимірюються за допомогою
нечислової шкали
Зигеля-Тьоюкі,
Мозеса

16. Попередній аналіз вибірок:

1 – перевіряють дані на приналежність їх до нормально
розподілених генеральних сукупностей,
Тест Шапіро-Уілка (Shapiro-Wilk test)
Критерій Шапіро-Уілка:
Н0 – дані – з нормально розподіленої генеральної сукупності,
На – дані – з ген. сукупності, розподіл якої не є нормальним
b2
Wф
, b a1 ( xn x1 ) a2 ( xn 1 x2 ) ...
D(n 1)
Порівнюють Wф з Wтабл (α, n):
Wф < Wтабл – відкидають Н0 (розподіл відмінний від
нормального)
Для нормально розподілених генеральних сукупностей W=1
2 – визначають чи залежні/незалежні вибірки

17. Вікно тесту Шапіро-Уілка в програмі Statistica

Вкладка Normality, вікно Descriptive Statistics

18. Результат тесту Шапіро-Уілка:

Враховуємо
р: коли
P > 0.05
–
приймаємо
Н0,
Р < 0.05
–
відхиляємо
Н0
Дані з ген.
сукупності,
розподіленої
нормально

19. Тести на нормальність

Шапіро-Уілка
Без
передбачень
щодо
середнього
арифметичного
і стандартного
відхилення
КолмогороваЛіллієфорса
Смірнова
Середнє і
стандартне
відхилення
рахують по
вибірці
Середнє і
стандартне
відхилення
відомі апріорі

20. Тестом Шапіро-Уілка підтверджена нормальність сукупності – застосовують параметричні статистичні тести

21. Тести на перевірку гіпотез щодо рівності генеральних дисперсій

Н0 : генеральні дисперсії рівні D1=D2,
Ha : генеральні дисперсії не рівні D1≠D2,
Критерій Фішера:
Критерій Левена:
k
D
Fф 1 ,
D2
вибіркові дисперсії , D1 D2 ,
Порівнюємо Fф і Fтабл
(Fтабл (α,df1=n1-1, df2=n2-1)):
Fф < Fтабл – приймаємо Н0
Wф
( N k ) * ( x gr i xsum ) 2
i 1
k
(k 1) * j ( xij xsum ) 2
N
i 1
x gr i вибіркові
середні,
xsum загальна
середня
k кількість
вибірок
усіх даних,

22. Тести на дисперсії:

Блок
описових
статистик
Basic
statistics
&Tables
пункт
t-test,
independent,
by groups
вкладка
Options

23. Результати тестів Фішера і Левена

Р > 0.05, отже в усіх
випадках приймаємо Н0

24. Залежно від результатів тесту Левена, застосовуємо тести Стьюдента для груп з рівними або нерівними дисперсіями

25. Порівняння середніх арифметичних

Тест Стьюдента (t-test):
Н0: генеральні середні рівні: М(х1)=М(Х2),
На: генеральні середні не рівні: М(х1)≠М(Х2),або
М(х1)>М(Х2), або М(х1)<М(Х2),
Критерій Стьюдента – 4 версії:
1- Незалежні групи з рівними дисперсіями
tф
x1 x2
n1
n2
i 1
j 1
2
2
(
x
x
)
(
x
x
)
i 1 j 2
n1 n2 2
n1 n2
*
n1 * n2
Порівнюємо tф з tтабл, tтабл(α, df=n1+n2-2),
коли tф < tтабл, приймаємо Н0

26.

27. t-test, продовження

2- Незалежні групи з нерівними дисперсіями
(t-test, independent)
tф
x1 x2
D1 / n1 D2 / n2
Порівнюємо tф з tтабл, tтабл(α, df=
( D1 / n1 D2 / n2 ) 2
df
2
2
2
( D1 / n1 )
( D2 / n2 )
n1 1
n2 1
коли tф < tтабл, приймаємо Н0

28. t-test, незалежні вибірки, по групам

29. Результат:

Значення t-критерію
Значення ймовірності,
Р > 0.05 – приймаємо Н0

30.

t-test,
незалежні
вибірки,
по змінним

31.

t-test, продовження
3- залежні групи
(t-test, dependent samples)
tф
x1 x2
n
2
(
x
y
)
i
i
1
2
i 1
( x1 x2 )
n 1
n
Порівнюємо tф з tтабл, tтабл(α, df=n-1)
коли tф < tтабл, приймаємо Н0

32.

t-test,
залежні
вибірки,
(парний
тест)

33.

Відхиляємо Н0,
Вірогідна різниця між генеральними середніми

34.

t-test, продовження
4- порівняння з популяційною середньою
(t-test, single means)
tф
x M (X )
n
Порівнюємо tф з tтабл, tтабл(α, df=n-1)
коли tф < tтабл, приймаємо Н0

35.

36.

Тестом Шапіро-Уілка відхилена
гіпотеза про нормальність
сукупності – застосовують
непараметричні статистичні тести

37.

Підстава використовувати
непараметричні методи
статистичного аналізу

38.

Непараметричні засоби аналізу виділені в окремий
модуль програми Statistica:

39. Непараметричні тести для порівняння двох незалежних вибірок

U-критерій Манна-Уітні (Mann-Whitney test):
Н0: вибірки належать до однієї генеральної сукупності або двом
генеральним сукупностям з однаковими параметрами
На: вибірки взяті з генеральних сукупностей, параметри яких
різні
Алгоритм:
1) ранжують вибірки в спільний ряд,
2) рахують окремо суми рангів 1-ї (R1) та 2-ї (R2) вибірок,
3) рахують:
n (n 1)
U1 R1
1
1
2
n2 (n2 1)
U 2 R2
2
4) менше значення U вважають за фактичне (розрахункове)
значення U-критерію (Uф),
5) порівнюють його з табличним значенням Utabl (α, n1, n2),
6) коли Uф > Utabl , приймають Н0

40. Приклад: дані контролю, групування по кодам 1 і 2:

n1 (n1 1)
Приклад: дані контролю,
2
групування по кодам 1 і 2:
n (n 1)
U 2 R2 2 2
Вибірка
Ранжуємо, для однакових
2
U1 R1
даних ранг – середнє від
суміжних рангів:
“контроль”:
1
2
2
1
1
2
1
2
1
2
2
2
1
1
1
1
2
2
2
2
12,5
12
13,4
14,1
12,9
13,1
14
13,8
12,4
14,6
15
13,2
14
15,1
12,9
13,4
15,6
17,83
16,01
15,4
2
2
2
2
2
2
2
2
2
2
2
1
1
1
1
1
1
1
1
1
12
13,4
13,1
13,8
14,6
15
13,2
15,6
17,83
16,01
15,4
12,5
14,1
12,9
14
14
15,1
12,9
13,4
14,1
№
ранг
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
2
3
4,5
4,5
6
7
8,5
8,5
10
11,5
11,5
13
14
15
16
17
18
19
20
ранжовані дані
(спільний ряд)
12
12,4
12,5
12,9
12,9
13,1
13,2
13,4
13,4
13,8
14
14
14,1
14,6
15
15,1
15,4
15,6
16,01
17,83
Uф > Utabl , приймаємо Н0
Рангові суми:
R1=74.5,
R2=135.5,
U1 = 74.5 9*(9+1)/2 =
29.5,
U2 = 135.511*(11+1)/2 =
69.5,
Uф = 29.5
Uтабл = 23

41. Вікно модуля непараметричних статистик:

42. Етап вибору колонки кодів та колонок змінних (порівнюємо по групам):

43. Маємо:

44. Результати:

Приймаємо Н0,
групових (“кодових”)
відмінностей не встановлено

45. Критерій Ван дер Вардена (Van der Warden test)

Для незалежних вибірок, взятих з сукупностей
із розподілом, близьким до нормального
Н0: вибірки належать до однієї генеральної сукупності або двом
генеральним сукупностям з однаковими параметрами
На: вибірки взяті з генеральних сукупностей, параметри яких
різні
Алгоритм:
1) ранжують вибірки в спільний ряд, для вибірки з меншою
чисельністю для рангів R знаходять відношення R
N 1
(1)
2) для кожного значення відношення (1) за таблицею знаходять
значення функції ψ[R/(N+1)]
3) Фактичне значення критерію:
R
X ф
(2)
N 1
4) Порівнюють з Хтабл, коли Хф < Хтабл, приймаємо Н0

46. Непараметричні тести для порівняння двох залежних вибірок

Н0: вибірки належать до однієї генеральної сукупності або двом
генеральним сукупностям з однаковими параметрами
На: вибірки взяті з генеральних сукупностей, параметри яких різні
Z-критерій знаків (sign test)
Алгоритм:
1) порівнюють попарно зв’язані значення двох вибірок, рахують
кількості “+” і “-” відхилень, нульові різниці не рахуються
2) сума більшої різниці = zф,
3) zтабл – шукаємо для (α, n – кількість нульових різниць)
4) коли zф < zтабл, приймаємо Н0

47. Непараметричні тести для порівняння двох залежних вибірок (продовження)

Т-критерій Уілкоксона
(Paired sample Wilcoxon Signed Ranks Test)
1) для парних значень знаходять модуль
відхилень |xi1 – xi2|
2) ранжують їх у спільний ряд (однакові
відхилення мають один ранг, усереднений на
кількість співпадіть),
3) для рангів рахують Σ”+” і Σ”-” відхилень, менша
рангова сума є Тф,
4) знаходять табличне Ттабл (α, n для ненульових
різниць Δхі),
5) при Тф < Ттабл, приймаємо Н0