Teste de hipóteses e valor-p - explicado passo a passo com um teste às cegas

A ideia: será que foi sorte?

Júlia diz que sente pelo gosto a diferença entre a água da torneira e a água mineral. Para conferir, uma amiga enche $20$ copos, cada um, por sorteio, com uma das duas águas. Júlia não vê qual é qual e, copo a copo, diz que água está bebendo. Ela acerta $15$.

Isso prova que ela tem um paladar apurado? Ainda não. Alguém que só chuta acerta cada copo com probabilidade $\frac{1}{2}$ e também pode dar sorte. Então a pergunta é: se Júlia estivesse só chutando, quão surpreendentes seriam $15$ acertos?

Todo teste de hipóteses se apoia nessa pergunta:

• supomos que nada de especial está acontecendo: essa é a hipótese nula $H_0$ (aqui, Júlia está chutando),
• calculamos qual seria, sob essa suposição, a probabilidade de um resultado pelo menos tão extremo quanto o observado: esse é o valor-p,
• se essa probabilidade for muito pequena, fica difícil continuar acreditando na suposição, e nós a rejeitamos.

Um valor-p pequeno não diz que Júlia com certeza sente a diferença. Diz apenas que só chutando seria raro chegar a um resultado assim. O estatístico Ronald Fisher explicou o teste de hipóteses com uma história parecida: a de uma senhora que dizia perceber pelo gosto se, na xícara, tinham posto primeiro o chá ou o leite.

Chute ou paladar? O teste passo a passo

Avance pela animação com os botões ou com as setas do teclado. Primeiro você vê os $20$ copos de Júlia e, depois, os resultados de $1000$ pessoas que só chutam e fazem o mesmo teste (numa simulação de computador).

O teste pode errar de dois jeitos. Se Júlia está chutando, ainda assim ela cai na região crítica com probabilidade $0{,}021$: aí rejeitaríamos uma $H_0$ verdadeira, um erro tipo I. Se ela realmente sente a diferença, pode mesmo assim acertar menos de $15$: um erro tipo II. Com o mesmo α, um teste mais longo, com mais copos, torna esse segundo erro menos provável.

Experimente: copos, acertos e α

Com os controles deslizantes, você escolhe o número de copos $n$ e o número de acertos $k$. As barras mostram a probabilidade de cada resultado para quem está chutando, e as barras preenchidas somam o valor-p $P(X \ge k)$. Escolha α para ver a região crítica e a decisão. Depois teste algumas centenas de pessoas que chutam e compare a proporção das que acertam $k$ ou mais com o valor-p.

Repare que:

• com $n = 20$, $k = 15$ dá $p = 0{,}021$, mas $k = 14$ já dá $p = 0{,}058$, mais que $0{,}05$,
• a mesma proporção de acertos pesa mais num teste mais longo: $6$ de $8$ copos dá $p = 0{,}145$, $15$ de $20$ dá $p = 0{,}021$ e $30$ de $40$ dá $p = 0{,}001$,
• um α menor encolhe a região crítica: com $n = 20$ e $\alpha = 0{,}01$, ela é $X \ge 16$, então $15$ acertos já não bastariam,
• com só $5$ copos e $\alpha = 0{,}01$, não existe região crítica: até $5$ de $5$ dá $p = 0{,}031$,
• quanto mais pessoas você testar, mais a proporção das que acertam $k$ ou mais se aproxima do valor-p.

A definição

Hipóteses. Um teste de hipóteses confronta duas afirmações. A hipótese nula $H_0$ é a afirmação da qual partimos: em geral “não há efeito” ou um valor determinado, como $p = 0{,}5$ ou $\mu = 1000$ g. A hipótese alternativa $H_1$ é o que suspeitamos no lugar dela, por exemplo $p > 0{,}5$, $\mu < 1000$ g ou $\mu \ne 500$ mL.

Estatística de teste. Um número calculado com a amostra, como o número de acertos $X$. Precisamos saber como ele se distribui quando $H_0$ é verdadeira. Se cada uma de $n$ tentativas independentes é um sucesso com probabilidade $p_0$, o número de sucessos segue a distribuição binomial:

Valor-p. A probabilidade, supondo $H_0$ verdadeira, de a estatística de teste dar um valor pelo menos tão extremo quanto o observado, no sentido indicado por $H_1$. Para $H_1: p > p_0$ e $k$ sucessos, ele é

Nível de significância e decisão. Antes de olhar os dados, escolhemos o nível de significância $\alpha$. O valor tradicional é $0{,}05$; também se usam $0{,}01$ e $0{,}10$. Depois:

• se $p \le \alpha$, rejeita-se $H_0$ em favor de $H_1$: o resultado é estatisticamente significativo,
• se $p > \alpha$, não há evidência suficiente para rejeitar $H_0$. Isso não prova que $H_0$ seja verdadeira: os dados apenas não são uma evidência forte o bastante contra ela.

Região crítica. Os valores da estatística de teste para os quais rejeitamos $H_0$. No teste dos copos, com $n = 20$ e $\alpha = 0{,}05$, ela é $X \ge 15$, porque $P(X \ge 15) = 0{,}021 \le 0{,}05$, mas $P(X \ge 14) = 0{,}058 > 0{,}05$. Rejeitar $H_0$ é o mesmo que a estatística de teste cair na região crítica.

Dois tipos de erro.

• O erro tipo I é rejeitar $H_0$ quando ela é verdadeira. Sua probabilidade é no máximo $\alpha$; no teste dos copos, é $P(X \ge 15) = 0{,}021$.
• O erro tipo II é não rejeitar $H_0$ quando ela é falsa. Sua probabilidade se escreve $\beta$, e $1 - \beta$ é o poder do teste: na animação, $0{,}804$ para alguém que acerta $4$ de cada $5$ copos.

Testes unilaterais e bilaterais. Com $H_1: p > p_0$ ou $H_1: \mu < \mu_0$, o teste é unilateral: só contam como extremos os resultados afastados para um lado. Com $H_1: \mu \ne \mu_0$, ele é bilateral: contam os resultados afastados para qualquer um dos lados. Se a estatística tem distribuição simétrica, como o $z$ abaixo, o valor-p bilateral é o dobro da área de uma cauda.

Teste para a média (teste z). Quando o desvio padrão $\sigma$ é conhecido, a média $\bar{x}$ de uma amostra de tamanho $n$ é comparada com $\mu_0$ por meio de

O denominador $\sigma/\sqrt{n}$ é o erro padrão da média: as médias de amostras variam menos que os valores isolados. Se $H_0$ é verdadeira e a variável tem distribuição normal, $z$ segue a normal padrão $N(0, 1)$, então o valor-p sai da tabela de $\Phi(z) = P(Z < z)$. Quando $\sigma$ é desconhecido e estimado pela amostra, usa-se o teste t de Student.

Assim, com $\alpha = 0{,}05$, um teste unilateral rejeita $H_0$ quando $z \ge 1{,}645$ (ou $z \le -1{,}645$, se $H_1: \mu < \mu_0$), e um bilateral quando $z \ge 1{,}96$ ou $z \le -1{,}96$. Com $\alpha = 0{,}01$, os limites são $2{,}326$ e $2{,}576$.

Exemplo 1: um cachorro e duas caixas

Um cachorro está aprendendo a achar um petisco pelo faro. Em cada uma de $10$ tentativas, o petisco é escondido por sorteio numa de duas caixas, e o cachorro escolhe a caixa certa $9$ vezes. Teste, ao nível de significância de $0{,}05$, se o cachorro acerta mais do que o acaso explicaria.

Exemplo 2: a máquina está pondo pouca farinha nos pacotes?

Uma máquina deveria encher pacotes com $1000$ g de farinha em média, e o desvio padrão da massa é $\sigma = 5$ g. Um fiscal pesa $25$ pacotes e encontra média $\bar{x} = 998$ g. Teste, ao nível de $0{,}05$, se a máquina põe, em média, menos farinha do que deveria. A decisão seria a mesma ao nível de $0{,}01$?

Sua vez

Garrafas de suco trazem $500$ mL no rótulo, e a máquina que as enche tem desvio padrão $\sigma = 6$ mL. Uma amostra de $36$ garrafas tem média $\bar{x} = 501{,}8$ mL. Teste, ao nível de $0{,}05$, se a média é diferente de $500$ mL, para mais ou para menos.

Erros comuns

• “O valor-p é a probabilidade de H₀ ser verdadeira.” Não: o valor-p é calculado supondo $H_0$ verdadeira. Ele diz quão surpreendentes seriam os dados se $H_0$ valesse, e não quão provável é $H_0$. Um valor-p de $0{,}021$ não significa 2,1% de chance de Júlia estar chutando.
• “p > α prova H₀.” Não rejeitar não é o mesmo que provar. Com $13$ acertos em $20$ ($p = 0{,}132$), Júlia pode ter uma habilidade real, só que menor - um teste de $20$ copos é curto demais para mostrá-la.
• Esquecer o “pelo menos tão extremo”. O valor-p é uma cauda inteira, não um único resultado. Com $14$ acertos em $20$, $P(X = 14) = 0{,}037$ parece menor que $0{,}05$, mas o valor-p $P(X \ge 14) = 0{,}058$ é maior.
• Escolher α ou o tipo de teste depois de ver os dados. Os dois são definidos antes do teste. Escolhê-los depois, ou testar uma análise atrás da outra até alguma dar $p \le 0{,}05$, torna um alarme falso mais provável.
• “Significativo” quer dizer “importante”. Um resultado significativo seria improvável se $H_0$ fosse verdadeira, mas o efeito em si pode ser minúsculo: numa amostra grande o bastante, até uma diferença muito pequena dá um valor-p pequeno. O tamanho do efeito é outra questão.

No ensino médio, no Enem e na faculdade

O teste de hipóteses não aparece na BNCC do ensino médio. Em probabilidade e estatística, as habilidades da BNCC falam em analisar amostras de pesquisas divulgadas pela mídia, planejar e executar pesquisas amostrais e calcular e interpretar medidas de tendência central e de dispersão (amplitude, variância e desvio padrão) - por exemplo, nas habilidades EM13MAT202 e EM13MAT316. A Matriz de Referência do Enem também não inclui testes: em estatística e probabilidade, ela lista representação e análise de dados, medidas de tendência central, desvios e variância e noções de probabilidade.

Na faculdade, o teste de hipóteses faz parte da inferência estatística. No livro aberto de Probabilidade e Estatística da UFRGS, uma tradução e adaptação do OpenIntro Statistics, ele aparece no capítulo “Fundamentos para Inferência”, depois da variabilidade das estimativas e dos intervalos de confiança.

Teste o que você aprendeu

Flashcards para revisão

Vire cada cartão e diga se você sabia a resposta. Os que você não sabia voltam para o fim do baralho. No guia Repetição espaçada, você descobre por que vale a pena revê-los daqui a alguns dias.