Fausses découvertes

Cliquez sur Puissance 80 %. Une hypothèse sur dix est vraie et personne ne déforme les analyses : un résultat repose sur p < 0,05, rien d'autre. Pour 1 000 hypothèses, la discipline rapporte 80 vrais résultats et 45 faux : 64,0 % de ce qu'elle publie est authentique. Passez maintenant à Puissance 20 %. Les faux résultats restent bloqués à 45, parce qu'ils sont issus des 900 hypothèses fausses au seuil α = 5 % et que la puissance ne les affecte jamais ; dans ce tirage, ce sont exactement les mêmes 48 cases sans point, aux mêmes endroits. En revanche, les vrais résultats tombent à 20, et la part d'effets réels s'affaisse à 30,8 %. On décrit souvent le manque de puissance comme la perte du chercheur, qui laisse échapper de vrais effets. Mais le lecteur y perd tout autant : un résultat significatif tiré d'une étude faible a passé la même barre officielle, et pourtant il vaut bien moins, car une fraction plus réduite des résultats qui la franchissent correspondent à la réalité. John Ioannidis formulait cette règle dès 2005 : une découverte a plus de chances d'être vraie que fausse lorsque (1 − β)R > α, où 1 − β est la puissance et R la cote qu'une hypothèse testée soit vraie. À une sur dix, R = 1/9, et la puissance doit nécessairement dépasser 45 %.

Cliquez sur Biais de 10 %. Les études sont aussi solides qu'auparavant, à 80 % de puissance, mais une analyse infructueuse sur dix est tout de même publiée comme positive : un autre critère d'évaluation, un sous-groupe ou une donnée gênante mise de côté. Ioannidis note cette part u. Elle n'aide guère les hypothèses vraies, qui étaient presque toujours détectées (80 % devient 82 %). Elle frappe en revanche de plein fouet les fausses hypothèses, qu'une démarche intègre écarte 95 % du temps : 10 % de ces 95 % font 9,5 points supplémentaires. Une hypothèse fausse se transforme alors en découverte dans 14,5 % des cas, soit près de trois fois plus souvent. La part de résultats réels dégringole de 64,0 % à 38,6 %, et la ligne du tableau située en dessous en donne l'équivalent : une discipline honnête atteint ces mêmes 38,6 % avec des études à 28,3 % de puissance. Poussez la puissance à 99 %, la discipline biaisée se hisse péniblement à 43,2 % ; la ligne à 100 % de puissance affiche 43,4 %, et aucune étude ne peut aller plus loin. Cliquez à présent sur Sans biais, 35 % : vous lisez 43,8 %. Une discipline intègre menée à 35 % de puissance publie des résultats aussi sûrs qu'une étude parfaite confrontée à un biais u = 10 %. Le point d'intersection, α/(α + u(1 − α)) = 34,5 %, est totalement indépendant de π : déplacez le premier curseur, il ne bouge pas.

Cliquez sur Puissance 80 %, puis sur Recommencer, et avancez pas à pas jusqu'à la dernière étape, où chaque résultat publié est réévalué honnêtement et à la même puissance. Une hypothèse vraie se confirme 80 % du temps et une fausse 5 % du temps, si bien que 53,0 % des résultats publiés sont répliqués ; dans ce tirage, 69 sur 129. Comptez les croix posées sur un point : 12 des 60 échecs étaient pourtant des hypothèses vraies, la proportion théorique exacte étant de 27,2 %. Nul n'a triché et ces études n'avaient aucun défaut : à 80 % de puissance, un effet réel sur cinq échappe à la détection, la seconde fois exactement comme la première. Le taux de réplication ne saurait donc se lire comme la part de vérité d'une discipline. Il ne peut jamais surpasser la puissance des réplications elles-mêmes, puisque chaque découverte vraie réapparaît à ce taux et chaque fausse au niveau α, qui ne lui est jamais supérieur. Une discipline dont les réplications tourneraient à 50 % de puissance verrait la moitié de ses résultats échouer même si chacun d'entre eux était vrai. Cliquez sur Biais de 10 % : les mêmes réplications intègres n'en sauvent plus que 33,9 %, car une part accrue de ce qu'on leur demande de confirmer n'a jamais existé.