Test t de Student

La valeur p est la probabilité d'observer une statistique de test au moins aussi extrême que la vôtre, en supposant que H₀ est vraie. Ce N'EST PAS la probabilité que H₀ soit vraie. Une valeur p de 0.03 signifie : si l'hypothèse nulle était vraie, vous observeriez un résultat aussi extrême seulement 3 % du temps par hasard — assez inhabituel pour la rejeter. Mais un seuil de signification de 5 % signifie que 1 test sur 20 rejettera à tort une hypothèse nulle vraie, uniquement par hasard (erreur de type I). Un α plus petit est plus strict, mais augmente les erreurs de type II (effets réels non détectés). Le graphique le montre directement : si la ligne rouge dépasse le seuil ambré, alors p < α.

Au fond, la statistique t n'est qu'un rapport signal/bruit : l'écart entre les moyennes des groupes (le signal) divisé par l'erreur standard (le bruit dû à l'échantillonnage aléatoire). Un grand t signifie que la différence se détache nettement de la dispersion ; un petit t pourrait aisément relever du hasard. La leçon pratique : un même écart de moyennes devient plus convaincant à mesure que les échantillons grandissent ou que leur dispersion diminue, car cela réduit le bruit au dénominateur.

On s'attendrait à ce que les degrés de liberté soient un entier bien net — le nombre d'informations indépendantes. Pourtant le test t de Welch emploie la formule de Welch-Satterthwaite, qui renvoie généralement une valeur fractionnaire comme df = 17.4. C'est une approximation délibérée : quand les variances sont inégales, aucun df entier exact n'existe, alors la méthode interpole pour coller au plus près à la vraie distribution. Voilà pourquoi le df de Welch diffère souvent du classique n₁ + n₂ − 2.