Testy statystyczne i wartość p - weryfikacja hipotez wyjaśniona krok po kroku

Główna idea: czy to mógł być przypadek?

Ola twierdzi, że po smaku odróżnia wodę z kranu od wody butelkowanej. Żeby to sprawdzić, koleżanka napełnia $20$ kubków - do każdego losowo wlewa jedną albo drugą wodę. Ola nie widzi, która jest która, i przy każdym kubku mówi, co pije. Trafia $15$ razy.

Czy to dowód, że ma wyczulony smak? Jeszcze nie. Ktoś, kto tylko zgaduje, trafia przy każdym kubku z prawdopodobieństwem $\frac{1}{2}$ i też może mieć szczęście. Pytamy więc: gdyby Ola tylko zgadywała, jak bardzo zaskakujące byłoby $15$ trafień?

Na tym pytaniu opiera się cały test statystyczny:

• zakładamy, że nie dzieje się nic szczególnego - to hipoteza zerowa $H_0$ (tu: Ola zgaduje),
• obliczamy, jak prawdopodobny byłby przy tym założeniu wynik co najmniej tak skrajny jak zaobserwowany - to wartość p,
• jeśli to prawdopodobieństwo jest bardzo małe, trudno dalej wierzyć w nasze założenie, więc je odrzucamy.

Mała wartość p nie mówi, że Ola na pewno rozróżnia wody. Mówi tylko, że samo zgadywanie rzadko dawałoby taki wynik. Statystyk Ronald Fisher tłumaczył ideę testowania hipotez na podobnej historii: o damie, która twierdziła, że po smaku pozna, czy do filiżanki najpierw nalano herbatę, czy mleko.

Zgadywanie czy smak? Test krok po kroku

Animację możesz przechodzić krok po kroku przyciskami albo strzałkami na klawiaturze. Najpierw zobaczysz $20$ kubków Oli, a potem wyniki $1000$ osób, które tylko zgadują i przechodzą ten sam test (to symulacja komputerowa).

Test może się pomylić na dwa sposoby. Jeśli Ola zgaduje, jej wynik i tak trafi do obszaru krytycznego z prawdopodobieństwem $0{,}021$ - wtedy odrzucimy prawdziwą $H_0$, czyli popełnimy błąd I rodzaju. Jeśli naprawdę rozróżnia wody, może mimo to trafić mniej niż $15$ razy - to błąd II rodzaju. Przy tym samym α dłuższy test, z większą liczbą kubków, zmniejsza ryzyko tego drugiego błędu.

Wypróbuj: kubki, trafienia i α

Suwakami ustawisz liczbę kubków $n$ i liczbę trafnych odpowiedzi $k$. Słupki pokazują, jak prawdopodobny jest każdy wynik u osoby, która zgaduje, a wypełnione słupki składają się na wartość p, czyli $P(X \ge k)$. Wybierz α, a zobaczysz obszar krytyczny i decyzję. Potem sprawdź kilkuset zgadujących i porównaj odsetek tych, którzy trafili co najmniej $k$ razy, z wartością p.

Na co zwrócić uwagę:

• przy $n = 20$ wynik $k = 15$ daje $p = 0{,}021$, ale $k = 14$ już $p = 0{,}058$ - więcej niż $0{,}05$,
• ten sam odsetek trafień jest mocniejszym argumentem w dłuższym teście: $6$ z $8$ kubków daje $p = 0{,}145$, $15$ z $20$ daje $p = 0{,}021$, a $30$ z $40$ daje $p = 0{,}001$,
• mniejsze α to mniejszy obszar krytyczny: przy $n = 20$ i $\alpha = 0{,}01$ jest to $X \ge 16$, więc $15$ trafień już by nie wystarczyło,
• przy $5$ kubkach i $\alpha = 0{,}01$ obszaru krytycznego nie ma wcale: nawet $5$ trafień na $5$ daje $p = 0{,}031$,
• im więcej zgadujących sprawdzisz, tym bliższy wartości p będzie odsetek tych, którzy trafili co najmniej $k$ razy.

Definicja

Hipotezy. Test statystyczny zestawia ze sobą dwa twierdzenia. Hipoteza zerowa $H_0$ to założenie, od którego zaczynamy - zwykle „brak efektu” albo konkretna wartość parametru, np. $p = 0{,}5$ lub $\mu = 1000$ g. Hipoteza alternatywna $H_1$ to to, co podejrzewamy zamiast niej, np. $p > 0{,}5$, $\mu < 1000$ g albo $\mu \ne 500$ ml.

Statystyka testowa. Liczba obliczona z próby, np. liczba trafień $X$. Musimy wiedzieć, jaki ma rozkład, gdy $H_0$ jest prawdziwa. Jeśli każda z $n$ niezależnych prób kończy się sukcesem z prawdopodobieństwem $p_0$, to liczba sukcesów ma rozkład dwumianowy - tak jak w schemacie Bernoullego:

Wartość p. Prawdopodobieństwo - obliczone przy założeniu, że $H_0$ jest prawdziwa - że statystyka testowa przyjmie wartość co najmniej tak skrajną jak zaobserwowana. „Skrajną” znaczy tu: odległą w kierunku wskazanym przez $H_1$. Dla $H_1: p > p_0$ i $k$ sukcesów

Poziom istotności i decyzja. Zanim spojrzymy na dane, ustalamy poziom istotności $\alpha$. Najczęściej $\alpha = 0{,}05$, stosuje się też $0{,}01$ i $0{,}1$. Potem:

• jeśli $p \le \alpha$, odrzucamy $H_0$ na rzecz $H_1$ - wynik jest istotny statystycznie,
• jeśli $p > \alpha$, nie ma podstaw do odrzucenia $H_0$. To nie dowód, że $H_0$ jest prawdziwa: dane są po prostu zbyt słabym argumentem przeciw niej.

Obszar krytyczny. Zbiór wartości statystyki testowej, przy których odrzucamy $H_0$. W teście smaku z $n = 20$ i $\alpha = 0{,}05$ jest to $X \ge 15$, bo $P(X \ge 15) = 0{,}021 \le 0{,}05$, ale $P(X \ge 14) = 0{,}058 > 0{,}05$. Odrzucamy $H_0$ dokładnie wtedy, gdy statystyka testowa wpada do obszaru krytycznego.

Dwa rodzaje błędów.

• Błąd I rodzaju to odrzucenie $H_0$, gdy jest prawdziwa. Jego prawdopodobieństwo wynosi najwyżej $\alpha$; w teście smaku jest to $P(X \ge 15) = 0{,}021$.
• Błąd II rodzaju to nieodrzucenie $H_0$, gdy jest fałszywa. Jego prawdopodobieństwo oznacza się $\beta$, a $1 - \beta$ to moc testu - w animacji $0{,}804$ dla osoby, która trafia $4$ razy na $5$.

Test jednostronny i dwustronny. Gdy $H_1: p > p_0$ albo $H_1: \mu < \mu_0$, test jest jednostronny (prawostronny albo lewostronny): za skrajne uznajemy tylko wyniki odległe w jedną stronę. Gdy $H_1: \mu \ne \mu_0$, test jest dwustronny: liczą się wyniki odległe w obie strony. Jeśli statystyka ma rozkład symetryczny, jak $z$ poniżej, wartość p testu dwustronnego to podwojone pole jednego ogona.

Test dla wartości średniej (test z). Gdy znamy odchylenie standardowe $\sigma$ badanej cechy, średnią $\bar{x}$ z próby liczącej $n$ elementów porównujemy z $\mu_0$ za pomocą statystyki

Mianownik $\sigma/\sqrt{n}$ to błąd standardowy średniej: średnie z prób wahają się mniej niż pojedyncze wartości. Gdy $H_0$ jest prawdziwa, a cecha ma rozkład normalny, statystyka $z$ ma standardowy rozkład normalny $N(0, 1)$. Wartość p odczytujemy więc z tablicy dystrybuanty $\Phi(z) = P(Z < z)$. Gdy $\sigma$ nie znamy i szacujemy je z próby, stosujemy test t-Studenta.

Przy $\alpha = 0{,}05$ test jednostronny odrzuca więc $H_0$, gdy $z \ge 1{,}645$ (albo $z \le -1{,}645$ dla $H_1: \mu < \mu_0$), a test dwustronny - gdy $z \ge 1{,}96$ lub $z \le -1{,}96$. Przy $\alpha = 0{,}01$ te progi to $2{,}326$ i $2{,}576$.

Przykład 1: pies i dwa pudełka

Pies uczy się szukać przysmaku węchem. W każdej z $10$ prób przysmak ukryto losowo w jednym z dwóch pudełek, a pies $9$ razy wybrał właściwe. Sprawdź na poziomie istotności $0{,}05$, czy pies radzi sobie lepiej, niż wynikałoby z przypadku.

Przykład 2: czy maszyna sypie za mało mąki?

Maszyna ma napełniać torebki mąką średnio po $1000$ g, a odchylenie standardowe masy torebki wynosi $\sigma = 5$ g. Kontroler zważył $25$ torebek i otrzymał średnią $\bar{x} = 998$ g. Sprawdź na poziomie istotności $0{,}05$, czy maszyna sypie średnio za mało. Czy na poziomie $0{,}01$ decyzja byłaby taka sama?

Teraz Ty

Butelki soku mają na etykiecie $500$ ml, a odchylenie standardowe objętości nalewanej przez maszynę wynosi $\sigma = 6$ ml. Średnia objętość w próbie $36$ butelek to $\bar{x} = 501{,}8$ ml. Sprawdź na poziomie istotności $0{,}05$, czy średnia różni się od $500$ ml - w którąkolwiek stronę.

Typowe błędy

• „Wartość p to prawdopodobieństwo, że H₀ jest prawdziwa”. Nie: wartość p liczymy przy założeniu, że $H_0$ jest prawdziwa. Mówi, jak zaskakujące byłyby dane, gdyby $H_0$ była prawdziwa, a nie, jak prawdopodobna jest sama $H_0$. Wartość p równa $0{,}021$ nie oznacza, że Ola zgaduje z prawdopodobieństwem 2,1%.
• „p > α dowodzi H₀”. Brak podstaw do odrzucenia to nie dowód. Przy $13$ trafieniach na $20$ ($p = 0{,}132$) Ola może mieć prawdziwą, choć słabszą umiejętność - test z $20$ kubkami jest po prostu za krótki, żeby ją wykazać.
• Pominięcie słów „co najmniej tak skrajny”. Wartość p to cały ogon, a nie jeden wynik. Przy $14$ trafieniach na $20$ prawdopodobieństwo $P(X = 14) = 0{,}037$ jest mniejsze niż $0{,}05$, ale wartość p, czyli $P(X \ge 14) = 0{,}058$, jest większa.
• Wybór α albo strony testu po obejrzeniu danych. Jedno i drugie ustala się przed testem. Dobieranie ich później albo próbowanie kolejnych analiz, aż któraś da $p \le 0{,}05$, zwiększa ryzyko fałszywego alarmu.
• „Istotny” znaczy „ważny”. Wynik istotny statystycznie byłby mało prawdopodobny przy $H_0$, ale sam efekt może być drobny: w dostatecznie dużej próbie nawet bardzo mała różnica daje małą wartość p. To, jak duży jest efekt, to osobne pytanie.

Na maturze i na studiach

Testów statystycznych nie ma w podstawie programowej matematyki dla liceum i technikum, także po zmianie wprowadzonej rozporządzeniem z 28 czerwca 2024 r. (Dz.U. z 2024 r. poz. 1019). Dział „Rachunek prawdopodobieństwa i statystyka” obejmuje w zakresie podstawowym prawdopodobieństwo w modelu klasycznym oraz średnią arytmetyczną, średnią ważoną, medianę i dominantę. W zakresie rozszerzonym dochodzą prawdopodobieństwo warunkowe, wzór Bayesa, twierdzenie o prawdopodobieństwie całkowitym i schemat Bernoullego. Schemat Bernoullego wystarczy jednak, żeby obliczyć wartość p w teście smaku z tej strony - to suma prawdopodobieństw z rozkładu dwumianowego, jak w przykładzie 1.

Z samą ideą sprawdzania hipotez licealiści spotykają się na biologii. Podstawa programowa mówi tam o stawianiu hipotez i ich weryfikowaniu oraz o opracowywaniu wyników doświadczeń w oparciu o proste analizy statystyczne. Testów istotności ani wartości p w niej jednak nie ma.

Testy statystyczne pojawiają się dopiero na studiach, na kursach statystyki. W otwartym podręczniku Open AGH „Rachunek prawdopodobieństwa i statystyka” rozdział o parametrycznych testach istotności przychodzi po rachunku prawdopodobieństwa, zmiennych losowych, statystyce opisowej i przedziałach ufności. Są w nim m.in. test dla wartości średniej - ze statystyką o rozkładzie $N(0, 1)$ przy znanym $\sigma$ i testem t-Studenta przy nieznanym - oraz test dla wskaźnika struktury, czyli dla odsetka sukcesów w populacji.

Sprawdź się

Fiszki do powtórki

Odwróć fiszkę i oceń, czy znasz odpowiedź. Te, których jeszcze nie znasz, wrócą na koniec talii. Dlaczego warto wrócić do nich za kilka dni, przeczytasz w poradniku Powtórki rozłożone w czasie.