Ceci est une traduction automatique ; la version originale est en anglais. Lire l'original
Effectuez vingt tests sur rien du tout, et l'un d'eux sera significatif
Un test sur des données réelles donne p = 0,0002982. Vingt tests sur du pur bruit vous donnent un titre.
Ouvrez l't-test tool avec ses réglages par défaut : un échantillon de 30 avec une moyenne de 78 par rapport à une valeur hypothétique de 72, et un écart-type de 8. Il indique t = 4,1079 avec 29 degrés de liberté, et p = 0,0002982. Cela représente trois chances sur dix mille d'observer une telle différence s'il n'y avait absolument aucune différence réelle. Rejetez l'hypothèse nulle, et soyez-en plutôt serein.
À présent, réglez α = 0,05 et réfléchissez à ce que ce seuil promet réellement.
La promesse s'applique à chaque test
α = 0,05 signifie : si l'hypothèse nulle est vraie, ce test la rejettera à tort 5 % du temps.
Exécutez vingt tests indépendants sur des données qui ne contiennent rien. Chacun d'eux se comporte normalement. Chacun a 95 % de chances de ne rien trouver à juste titre. Mais la probabilité que les vingt se comportent normalement est de
0,9520 = 0,358
si bien que la probabilité qu'au moins l'un d'eux donne l'alerte est de 64,2 %. Ce n'est pas un risque — c'est l'issue la plus probable. Vingt tests sur du pur bruit produisent un résultat significatif le plus souvent, et ce résultat significatif aura une valeur p inférieure à 0,05, un intervalle de confiance qui exclut zéro, et toutes les autres marques d'une véritable découverte, car il en est indiscernable.
Poussez l'expérience plus loin : à quarante tests, la probabilité est de 87 %, à cent, elle atteint 99,4 %. Quiconque effectue suffisamment de comparaisons est garanti de faire une découverte, et la découverte n'est autre que l'arithmétique.
La correction arithmétique, et pourquoi elle ne suffit pas
La correction est aussi simple que le problème. Si vous prévoyez d'effectuer m tests et souhaitez que la probabilité d'obtenir le moindre faux positif reste à 5 %, testez chacun d'eux à α/m à la place. C'est la méthode de Bonferroni : pour vingt tests, exigez p < 0,0025 plutôt que p < 0,05.
Saisissez 0,0025 dans la case α du t-test tool et observez ce qu'il advient de la valeur critique — la barre pour qu'un résultat soit "significatif" s'éloigne, et des résultats qui franchissaient aisément l'ancienne ligne ne le font plus. C'est le prix à payer, et il est bien réel : un seuil plus strict signifie que des effets réels sont manqués. Il existe des corrections plus douces qui font un compromis différent entre les deux types d'erreurs, mais chacune d'elles coûte de la puissance statistique, car on n'a rien sans rien ici.
Le problème plus profond est que la correction nécessite m, et que m est généralement inconnaissable. Ce n'est pas le nombre de tests figurant dans l'article — c'est le nombre de tests qui ont été effectués. Chaque sous-groupe qui n'a pas été inclus dans la rédaction finale, chaque mesure de résultat essayée puis abandonnée, chaque choix concernant les valeurs aberrantes à exclure constitue une comparaison. Une étude rapportant un seul test peut avoir donné lieu à cinquante décisions, et le lecteur n'a aucun moyen de les compter.
C'est ce que soulignait Ioannidis en 2005 avec le titre volontairement provocateur Why Most Published Research Findings Are False. Son argument n'est pas que les chercheurs trichent. C'est que lorsque de nombreux groupes testent de nombreuses hypothèses, dont la plupart sont fausses au départ, les résultats significatifs qui émergent sont dominés par les faux positifs — et aucun test individuel dans ce lot ne commet la moindre erreur.
Ce qu'il faut examiner à la place
Trois habitudes qui résistent à ce problème, et que tous les outils de ce site peuvent vous illustrer.
Regardez la taille, pas le verdict. Une valeur p répond à la question "cela pourrait-il être du bruit ?" et rien d'autre. Elle ne dit rien sur l'ampleur de l'effet ni sur son importance. L'outil confidence interval existe parce qu'un intervalle apporte les deux : où l'effet se situe vraisemblablement, et avec quelle précision vous le connaissez. Un résultat significatif avec un intervalle allant de "négligeable" à "énorme" ne vous apprend presque rien, et sa valeur p dissimule cela.
Demandez-vous où réside la différence. Un test du chi-deux qui s'avère significatif vous indique qu'un tableau ne s'ajuste pas — pas quelle partie fait défaut. L'residuals tool montre la même chose de manière structurelle : la statistique globale est un résumé, et c'est dans les cellules que se trouve l'information. Un résultat que vous ne pouvez pas localiser est généralement un résultat que vous ne pouvez pas répliquer.
Comptez les comparaisons avant d'observer. Décider de ce que vous allez tester, et de combien d'éléments, avant de voir les données est la seule version de cette démarche qui fonctionne — car une fois les données arrivées, chaque seuil devient négociable et la négociation est invisible. Le pré-enregistrement est le seul moyen de faire de m un nombre connu.
Le 0,0002982 affiché par l'outil au début est une valeur p réellement faible. C'est aussi seulement un nombre issu d'un seul test, et sa signification dépend entièrement de quelque chose que le nombre lui-même ne peut pas vous dire : combien d'autres tests vous avez effectués pour l'obtenir.