Teste t de Student

O valor-p é a probabilidade de observar uma estatística de teste pelo menos tão extrema quanto a sua, assumindo que H₀ é verdadeira. NÃO é a probabilidade de H₀ ser verdadeira. Um valor-p de 0,03 significa: se a hipótese nula fosse verdadeira, você veria um resultado tão extremo apenas 3% das vezes por acaso — incomum o suficiente para rejeitá-la. Mas uma significância de 5% significa que 1 em cada 20 testes rejeitará uma hipótese nula verdadeira por puro acaso (erro tipo I). Um α menor é mais rigoroso, mas aumenta os erros tipo II (não detectar efeitos reais). O gráfico mostra isso diretamente: se a linha vermelha estiver além do limiar âmbar, então p < α.

No fundo, a estatística t não passa de uma relação sinal-ruído: a diferença entre as médias dos grupos (o sinal) dividida pelo erro padrão (o ruído da amostragem aleatória). Um t grande indica que a diferença se destaca da dispersão; um t pequeno poderia facilmente ser acaso. A lição prática: a mesma diferença de médias torna-se mais convincente quanto maiores forem as amostras ou menor a sua dispersão, pois isso reduz o ruído no denominador.

Seria de esperar que os graus de liberdade fossem um inteiro limpo — o número de peças de informação independentes. Mas o teste t de Welch usa a fórmula de Welch-Satterthwaite, que costuma devolver um valor fracionário como df = 17.4. É uma aproximação deliberada: quando as variâncias são desiguais, não existe um df inteiro exato, então o método interpola para se ajustar o mais possível à distribuição real. Por isso o df de Welch costuma diferir do clássico n₁ + n₂ − 2.