Hypothesentest und p-Wert - Signifikanztests Schritt für Schritt erklärt

Die Idee: War es nur Glück?

Lena behauptet, sie schmeckt den Unterschied zwischen Leitungswasser und Mineralwasser. Um das zu prüfen, füllt eine Freundin $20$ Becher, jeden zufällig mit dem einen oder dem anderen Wasser. Lena sieht nicht, was in welchem Becher ist, und sagt bei jedem Becher, welches Wasser sie trinkt. Sie liegt $15$-mal richtig.

Beweist das, dass sie einen feinen Geschmack hat? Noch nicht. Wer nur rät, trifft bei jedem Becher mit Wahrscheinlichkeit $\frac{1}{2}$ und kann auch Glück haben. Die Frage lautet also: Wenn Lena nur raten würde, wie überraschend wären dann $15$ Treffer?

Auf dieser Frage beruht jeder Hypothesentest:

• Wir nehmen an, dass nichts Besonderes dahintersteckt - das ist die Nullhypothese $H_0$ (hier: Lena rät).
• Wir berechnen, wie wahrscheinlich unter dieser Annahme ein mindestens so extremes Ergebnis wie das beobachtete wäre - das ist der p-Wert.
• Ist diese Wahrscheinlichkeit sehr klein, fällt es schwer, weiter an die Annahme zu glauben, und wir verwerfen sie.

Ein kleiner p-Wert sagt nicht, dass Lena die Wassersorten sicher unterscheiden kann. Er sagt nur, dass bloßes Raten selten zu so einem Ergebnis führt. Der Statistiker Ronald Fisher hat das Testen von Hypothesen mit einer ähnlichen Geschichte erklärt: von einer Dame, die behauptete, sie schmecke, ob zuerst der Tee oder die Milch in die Tasse gegossen wurde.

Raten oder Schmecken? Der Test Schritt für Schritt

Geh die Animation mit den Knöpfen oder den Pfeiltasten Schritt für Schritt durch. Zuerst siehst du Lenas $20$ Becher, danach die Ergebnisse von $1000$ Personen, die nur raten und denselben Test machen (simuliert am Computer).

Der Test kann sich auf zwei Arten irren. Rät Lena, landet sie trotzdem mit Wahrscheinlichkeit $0{,}021$ im Ablehnungsbereich - dann verwerfen wir eine wahre $H_0$, ein Fehler 1. Art. Kann sie die Wassersorten wirklich unterscheiden, hat sie vielleicht trotzdem weniger als $15$ Treffer - ein Fehler 2. Art. Bei gleichem α macht ein längerer Test mit mehr Bechern diesen zweiten Fehler unwahrscheinlicher.

Probier es aus: Becher, Treffer und α

Mit den Schiebereglern stellst du die Anzahl der Becher $n$ und die Anzahl der Treffer $k$ ein. Die Balken zeigen, wie wahrscheinlich jedes Ergebnis für jemanden ist, der nur rät; die ausgefüllten Balken ergeben zusammen den p-Wert $P(X \ge k)$. Wähle α, dann siehst du den Ablehnungsbereich und die Entscheidung. Teste anschließend ein paar hundert Ratende und vergleiche den Anteil derer mit $k$ oder mehr Treffern mit dem p-Wert.

Darauf kannst du achten:

• bei $n = 20$ ergibt $k = 15$ den Wert $p = 0{,}021$, aber $k = 14$ schon $p = 0{,}058$ - mehr als $0{,}05$,
• derselbe Trefferanteil wiegt in einem längeren Test schwerer: $6$ von $8$ Bechern ergibt $p = 0{,}145$, $15$ von $20$ ergibt $p = 0{,}021$ und $30$ von $40$ ergibt $p = 0{,}001$,
• ein kleineres α verkleinert den Ablehnungsbereich: bei $n = 20$ und $\alpha = 0{,}01$ ist er $X \ge 16$, $15$ Treffer würden also nicht mehr reichen,
• bei nur $5$ Bechern und $\alpha = 0{,}01$ gibt es gar keinen Ablehnungsbereich: Selbst $5$ von $5$ ergibt $p = 0{,}031$,
• je mehr Ratende du testest, desto näher kommt der Anteil derer mit $k$ oder mehr Treffern dem p-Wert.

Die Definition

Hypothesen. Ein Hypothesentest stellt zwei Aussagen einander gegenüber. Die Nullhypothese $H_0$ ist die Annahme, von der wir ausgehen - meist „kein Effekt“ oder ein bestimmter Wert, etwa $p = 0{,}5$ oder $\mu = 1000$ g. Die Gegenhypothese $H_1$ ist das, was wir stattdessen vermuten, etwa $p > 0{,}5$, $\mu < 1000$ g oder $\mu \ne 500$ ml.

Testgröße. Eine aus der Stichprobe berechnete Zahl, etwa die Trefferzahl $X$. Wir müssen wissen, wie sie verteilt ist, wenn $H_0$ gilt. Ist jeder von $n$ unabhängigen Versuchen mit Wahrscheinlichkeit $p_0$ ein Treffer, so ist die Trefferzahl binomialverteilt:

p-Wert. Die Wahrscheinlichkeit, unter der Annahme von $H_0$ für die Testgröße einen mindestens so extremen Wert wie den beobachteten zu erhalten - extrem in der Richtung, die $H_1$ vorgibt. Für $H_1: p > p_0$ und $k$ Treffer ist

Signifikanzniveau und Entscheidung. Bevor wir die Daten ansehen, legen wir das Signifikanzniveau $\alpha$ fest. Üblich ist $0{,}05$; auch $0{,}01$ und $0{,}1$ kommen vor. Dann gilt:

• Ist $p \le \alpha$, wird $H_0$ zugunsten von $H_1$ verworfen - das Ergebnis ist statistisch signifikant.
• Ist $p > \alpha$, wird $H_0$ nicht verworfen. Bewiesen ist $H_0$ damit nicht: Die Daten sprechen nur nicht deutlich genug gegen sie.

Ablehnungsbereich. Die Werte der Testgröße, bei denen $H_0$ verworfen wird; die übrigen bilden den Annahmebereich. Beim Bechertest mit $n = 20$ und $\alpha = 0{,}05$ ist der Ablehnungsbereich $X \ge 15$, denn $P(X \ge 15) = 0{,}021 \le 0{,}05$, aber $P(X \ge 14) = 0{,}058 > 0{,}05$. $H_0$ zu verwerfen heißt also: Die Testgröße liegt im Ablehnungsbereich.

Zwei Arten von Fehlern.

• Ein Fehler 1. Art bedeutet, $H_0$ zu verwerfen, obwohl sie wahr ist. Seine Wahrscheinlichkeit, die Irrtumswahrscheinlichkeit, ist höchstens $\alpha$: Das Signifikanzniveau ist die vorgegebene Obergrenze dafür. Beim Bechertest beträgt sie $P(X \ge 15) = 0{,}021$.
• Ein Fehler 2. Art bedeutet, $H_0$ nicht zu verwerfen, obwohl sie falsch ist. Seine Wahrscheinlichkeit heißt $\beta$, und $1 - \beta$ ist die Güte des Tests - in der Animation $0{,}804$ für jemanden, der $4$ von $5$ Bechern trifft.

Einseitige und zweiseitige Tests. Bei $H_1: p > p_0$ (rechtsseitig) oder $H_1: \mu < \mu_0$ (linksseitig) ist der Test einseitig: Als extrem zählen nur Ergebnisse, die in eine Richtung weit abweichen. Bei $H_1: \mu \ne \mu_0$ ist er zweiseitig: Es zählen Abweichungen in beide Richtungen. Ist die Testgröße symmetrisch verteilt, wie $z$ unten, so ist der zweiseitige p-Wert doppelt so groß wie die Fläche eines Randes.

Test für den Erwartungswert (Gauß-Test). Ist die Standardabweichung $\sigma$ bekannt, berechnet man aus dem Mittelwert $\bar{x}$ einer Stichprobe vom Umfang $n$ die Testgröße, die ihn mit $\mu_0$ vergleicht:

Der Nenner $\sigma/\sqrt{n}$ ist der Standardfehler des Mittelwerts: Mittelwerte von Stichproben schwanken weniger als einzelne Werte. Gilt $H_0$ und ist das Merkmal normalverteilt, so ist $z$ standardnormalverteilt mit $N(0; 1)$, und der p-Wert ergibt sich aus der Tabelle von $\Phi(z) = P(Z < z)$. Ist $\sigma$ unbekannt und wird aus der Stichprobe geschätzt, verwendet man den t-Test.

Bei $\alpha = 0{,}05$ verwirft ein einseitiger Test $H_0$ also für $z \ge 1{,}645$ (oder $z \le -1{,}645$ bei $H_1: \mu < \mu_0$), ein zweiseitiger für $z \ge 1{,}96$ oder $z \le -1{,}96$. Bei $\alpha = 0{,}01$ liegen die Grenzen bei $2{,}326$ und $2{,}576$.

Beispiel 1: ein Hund und zwei Kisten

Ein Hund lernt, ein Leckerli zu erschnüffeln. In jedem von $10$ Durchgängen wird das Leckerli zufällig in einer von zwei Kisten versteckt, und der Hund wählt $9$-mal die richtige Kiste. Teste auf dem Signifikanzniveau $0{,}05$, ob der Hund besser ist, als der Zufall erklären würde.

Beispiel 2: Füllt die Maschine zu wenig Mehl ab?

Eine Maschine soll Packungen mit durchschnittlich $1000$ g Mehl füllen; die Standardabweichung der Masse beträgt $\sigma = 5$ g. Eine Prüferin wiegt $25$ Packungen und erhält den Mittelwert $\bar{x} = 998$ g. Teste auf dem Signifikanzniveau $0{,}05$, ob die Maschine im Mittel zu wenig abfüllt. Fiele die Entscheidung bei $0{,}01$ genauso aus?

Jetzt du

Auf Saftflaschen stehen $500$ ml, und die Abfüllmaschine hat die Standardabweichung $\sigma = 6$ ml. Eine Stichprobe von $36$ Flaschen hat den Mittelwert $\bar{x} = 501{,}8$ ml. Teste auf dem Signifikanzniveau $0{,}05$, ob der Erwartungswert von $500$ ml abweicht - egal in welche Richtung.

Typische Fehler

• „Der p-Wert ist die Wahrscheinlichkeit, dass H₀ wahr ist.“ Nein: Der p-Wert wird unter der Annahme berechnet, dass $H_0$ gilt. Er sagt, wie überraschend die Daten wären, wenn $H_0$ gilt - nicht, wie wahrscheinlich $H_0$ ist. Ein p-Wert von $0{,}021$ heißt nicht, dass Lena mit 2,1 % Wahrscheinlichkeit rät.
• „p > α beweist H₀.“ Nicht verwerfen ist nicht beweisen. Mit $13$ von $20$ Treffern ($p = 0{,}132$) könnte Lena ein echtes, nur schwächeres Können haben - ein Test mit $20$ Bechern ist zu kurz, um es zu zeigen.
• Das „mindestens so extrem“ vergessen. Der p-Wert ist ein ganzer Rand, nicht ein einzelnes Ergebnis. Bei $14$ von $20$ Treffern wirkt $P(X = 14) = 0{,}037$ kleiner als $0{,}05$, doch der p-Wert $P(X \ge 14) = 0{,}058$ ist größer.
• α oder die Seite des Tests erst nach Ansicht der Daten wählen. Beides wird vor dem Test festgelegt. Wer es hinterher wählt oder so lange eine Auswertung nach der anderen probiert, bis eine $p \le 0{,}05$ liefert, macht einen Fehlalarm wahrscheinlicher.
• „Signifikant“ heißt „wichtig“. Ein signifikantes Ergebnis wäre unter $H_0$ unwahrscheinlich, der Effekt selbst kann aber winzig sein: In einer genügend großen Stichprobe liefert schon ein sehr kleiner Unterschied einen kleinen p-Wert. Wie groß der Effekt ist, ist eine andere Frage.

In der Oberstufe und im Studium

Welche Kurse das Testen von Hypothesen behandeln, legen die Bundesländer fest. In Baden-Württemberg steht es im Bildungsplan 2016 nur im Leistungsfach: Dort testet man Hypothesen bei binomialverteilten Zufallsgrößen, führt ein- und zweiseitige Tests durch, bestimmt Ablehnungsbereich und Entscheidungsregel, grenzt Signifikanzniveau und Irrtumswahrscheinlichkeit voneinander ab und erläutert Fehler erster und zweiter Art. Laut den Hinweisen des ZSL zum Abitur bleibt das Testen von Hypothesen dem Leistungsfach vorbehalten. Der Bechertest auf dieser Seite ist genau so ein Test mit einer binomialverteilten Testgröße.

Im Studium gehören Hypothesentests zu den Grundlagen der Statistik. Im freien Wikibooks-Lehrbuch „Statistik“, das auf einem Vorlesungsskript für Studienanfänger beruht, folgt das Kapitel „Schätzen und Testen“ auf die Normal- und die t-Verteilung und auf die Konfidenzintervalle.

Teste dich

Karteikarten zum Wiederholen

Dreh eine Karte um und gib an, ob du die Antwort wusstest. Karten, die noch nicht sitzen, kommen ans Ende des Stapels. Warum es sich lohnt, sie dir in ein paar Tagen noch einmal vorzunehmen, erklärt der Ratgeber Verteilte Wiederholung.