La malédiction du vainqueur

Choisissez un effet réel et une taille d'échantillon, puis lancez les études successivement. Chaque point représente l'estimation d'une étude ; les points colorés ont atteint p < 0,05. Observez où ils viennent se placer par rapport à l'effet réel.

Exemple résolu — La malédiction du vainqueur

Erreur-type de l'estimation	0,2000
Effet réel en erreurs-types, λ	1,00
Plus petite estimation atteignant p < 0,05	0,392
Puissance : probabilité d'atteindre p < 0,05	17,0%

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Leçon

La théorie — La malédiction du vainqueur

En statistique, la malédiction du vainqueur désigne le biais qui affecte les estimations sélectionnées en raison de leur significativité statistique. L'estimation d̂ de l'effet réel δ obtenue par une étude est significative au seuil α = 0,05 lorsque |d̂| > z·SE avec z = 1,96 ; sous cette condition, son espérance E(|d̂| | significatif) dépasse δ. Andrew Gelman et John Carlin quantifient ce phénomène par le facteur d'exagération E(|d̂| | significatif)/δ (l'erreur de type M) et par la probabilité qu'une estimation significative soit de signe opposé (l'erreur de type S). Pour un estimateur gaussien avec λ = δ/SE, la puissance vaut Φ(λ − z) + Φ(−λ − z) et le taux d'erreur de type S est égal à Φ(−λ − z) divisé par la puissance.

Ce que signifie chaque symbole

δ: l'effet réel, en écarts-types de la variable d'intérêt
d̂: l'estimation de δ issue d'une étude
n: l'effectif de chacun des deux groupes
SE: l'erreur-type de l'estimation, √(2/n)
λ: l'effet réel mesuré en erreurs-types, δ/SE
z: le seuil en erreurs-types, 1,96 pour un test bilatéral à p < 0,05

Suppose: Deux groupes d'effectif n, pour une variable suivant une loi normale d'écart-type connu égal à 1. L'estimation suit donc exactement une loi normale N(δ, 2/n), et le test appliqué est un test z bilatéral au seuil α = 0,05. L'effet réel est positif et identique d'une étude à l'autre, les études sont indépendantes, et une étude n'est conservée que si elle est significative.

Sous 50 % de puissance, tout résultat significatif surestime l'effet 🖖

Cliquez sur Petite étude. L'effet réel est de 0,20 écart-type et chaque groupe compte 50 personnes. L'erreur-type de l'estimation vaut donc 0,20, et l'étude n'atteint le seuil p < 0,05 que si son résultat s'éloigne de zéro d'au moins 0,392. Aucune valeur plus modeste ne peut être déclarée significative : elle ne sera donc jamais publiée comme une découverte. Seules 17,0 % des études franchissent cet obstacle. Celles qui y parviennent affichent une moyenne de 0,498, soit 2,49 fois l'effet qui leur a donné naissance. Observez les points colorés : pas un seul ne se trouve entre les deux lignes en pointillés, là où se situe pourtant l'effet réel. Ce phénomène se produit dès que l'effet réel reste sous le seuil critique, ce qui est systématiquement le cas lorsque la puissance ne dépasse pas 50 %. Cliquez sur Puissance de 50 % : avec 192 personnes par groupe, le seuil s'abaisse à 0,200 pour s'aligner sur la vérité. Pourtant, chaque estimation significative la surestime encore. Au-delà, une estimation significative peut certes sous-estimer la réalité, mais au moins la moitié d'entre elles la dépasseront toujours, quelle que soit la taille de l'échantillon. Les estimations proches de zéro, qui auraient pu tirer la moyenne vers le bas, sont précisément celles qui échouent au test de significativité. Avec Puissance de 80 % (400 personnes par groupe), 61,9 % des résultats significatifs restent encore au-dessus de l'effet réel.

L'estimation significative d'une petite étude mesure le bruit 🖖

Cliquez sur Petite étude, puis sur Effet de 0,05. L'effet réel a été divisé par quatre, mais la moyenne des estimations significatives n'a presque pas bougé : 0,498 d'abord, puis 0,471. Avec 50 personnes par groupe, tout effet réel compris entre zéro et le seuil produit des estimations significatives dont la moyenne oscille entre 0,468 et 0,552. Exprimée en erreurs-types, cette fourchette s'étend de 2,34 à 2,76. Elle reste la même pour tout protocole dont la puissance ne dépasse pas 50 %. Dans une telle étude, l'ampleur d'un résultat significatif vous renseigne donc avant tout sur la taille de son erreur-type. Vue de l'intérieur, l'étude ne peut pas s'en apercevoir. Injectez 0,498 dans la formule de puissance comme s'il s'agissait du véritable effet : ce protocole, dont la puissance réelle n'est que de 17,0 %, semble soudain afficher 70,2 %. Faites de même avec 0,471, et le protocole à 5,7 % paraît offrir 65,4 % de puissance. Andrew Gelman et John Carlin ont décrit ce cercle vicieux dans leur article de 2014 : toute estimation significative issue d'une petite étude est nécessairement forte, et le calcul de puissance rétrospectif qui s'appuie dessus donne à l'étude une allure tout à fait rigoureuse. Pour en sortir, les auteurs préconisent d'estimer la taille de l'effet à partir de sources extérieures, qu'il s'agisse de la littérature existante ou d'un ordre de grandeur physiquement plausible. C'est précisément la démarche de l'exercice ci-dessous.

Un résultat significatif peut pointer dans la mauvaise direction 🖖

Cliquez sur Effet de 0,05. La puissance tombe à 5,7 %, à peine au-dessus des 5 % qu'offrirait un effet réel strictement nul. Pourtant, parmi les études qui atteignent le seuil de significativité, 23,7 % concluent à un effet dans le mauvais sens. Chacune d'elles affiche un intervalle de confiance à 95 % qui exclut zéro, du mauvais côté. Gelman et Carlin qualifient cette inversion d'erreur de type S (pour le signe), et la surestimation d'erreur de type M (pour la magnitude) ; ici, les estimations significatives valent en moyenne 9,42 fois l'effet réel. Ils prennent pour exemple la publication de Satoshi Kanazawa en 2007, affirmant que les parents séduisants ont davantage de filles : un écart de 8 points de pourcentage avec p = 0,015, soit une erreur-type de 3,3. Or les travaux sur le sex-ratio suggèrent une différence réelle bien inférieure à un point. Si cette différence était de 0,3, calculent-ils, un résultat significatif aurait environ 40 % de chances d'avoir le mauvais signe et surestimerait l'effet environ 25 fois. Se tromper de signe est beaucoup plus difficile que de se tromper d'échelle : dans ce modèle, la proportion d'erreurs de signe reste sous 1 % tant que la puissance ne descend pas en dessous de 16,5 %, niveau où le facteur d'exagération atteint déjà 2,5. L'étape suivante, fausses découvertes, pose la question que ces trois constats laissent en suspens : parmi tous les résultats significatifs d'une discipline, combien reposent sur un effet réel ?

Problème entièrement résolu

L'étude qui a trouvé 0,45 4 étapes
Une étude portant sur 50 personnes par groupe rapporte un effet de 0,45 écart-type, avec p = 0,024. Or, les interventions comparables modifient habituellement ce résultat d'environ 0,10. Si ce 0,10 correspond à la réalité, dans quelle mesure ce protocole devait-il le surestimer, quel était le risque de se tromper de signe, et combien de personnes par groupe faudrait-il pour atteindre 80 % de puissance ? Cliquez sur L'étude à 0,45 : la page règle δ = 0,10 et n = 50.

Ouvrez ce problème dans l'outil
1. Commençons par le résultat publié. L'erreur-type et la statistique z :
  
  $SE = 2/50 = 0.2000, z = \frac{0 . 45}{0 . 2000} = 2.25, p = 2 Φ (- 2.25) = 0.024$
2. Prenons δ = 0,10 à partir d'éléments extérieurs à l'étude. Exprimé en erreurs-types, cela donne λ = 0,5, et la puissance s'écrit :
  
  $λ = \frac{0 . 10}{0 . 2000} = 0.5, power = Φ (0.5 - 1.96) + Φ (- 0.5 - 1.96) = Φ (- 1.46) + Φ (- 2.46) = 0.07215 + 0.00695 = 7 . 91%$
3. Sur l'ensemble des études, 7,91 % atteignent la significativité et 0,69 % sont significatives du mauvais côté, ce qui représente 8,8 % des études significatives. Ces dernières atteignent en moyenne une valeur de 0,479 :
  
  $Type S = \frac{0 . 00695}{0 . 0791} = 8 . 8%, E (∣ \hat{d} ∣ ∣ sig) = 0.479 = 4.79 δ$
4. Pour atteindre une puissance de 80 %, λ doit atteindre z + Φ⁻¹(0,80), la queue de distribution opposée étant négligeable, avec λ = δ√(n/2) :
  
  $λ = 1.96 + 0.8416 = 2.8016 = 0.10 n /2 \Rightarrow n = 2 (\frac{2 . 8016}{0 . 10})^{2} = 1569.8$
Réponse

1 570 personnes par groupe, soit 31,4 fois plus. Avec 50 personnes par groupe, le protocole n'avait que 7,9 % de puissance : une estimation significative devait valoir au moins 0,392, et les résultats significatifs atteignent en moyenne 0,479, soit 4,79 fois la réalité, dont 8,8 % avec le mauvais signe. La valeur de 0,45 publiée est précisément ce qu'un tel protocole produit lorsque l'effet réel est de 0,10 : elle ne donne donc aucune raison de rejeter 0,10. Saisissez 1570 dans la page : la puissance passe à 80,0 % et les estimations significatives valent en moyenne 0,112, soit 1,12 fois la réalité.

$n = 1570 per group (31.4 \times 50) : power 80 . 0%, E (∣ \hat{d} ∣ ∣ sig) = 0.112 = 1.12 δ$

Parcours

Ce que p < 0,05 ne promet pas

Références (1)

Type S and Type M errors and the exaggeration ratio, the formulas for power and the Type S rate under a normal estimate (note 2), the R function retrodesign() whose figures check:compute reproduces, the beauty-and-sex-ratio example the third insight quotes, and the circle the second insight describes (a significant estimate from a small study fed back into a power analysis makes the study look reasonable): A. Gelman and J. Carlin, "Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors," Perspectives on Psychological Science 9(6), 641–651, 2014.

Par l’équipe 42Math · Vérifié sur des sources publiées. Corrections bienvenues.