La maldición del ganador

Elige un efecto real y un tamaño de muestra. Luego ejecuta el estudio una y otra vez. Cada punto representa la estimación de un estudio; los que tienen color alcanzaron p < 0,05. Fíjate en dónde caen esos puntos coloreados respecto al efecto real.

Ejemplo resuelto — La maldición del ganador

Error estándar de la estimación	0,2000
Efecto real en errores estándar, λ	1,00
Menor estimación con p < 0,05	0,392
Potencia: probabilidad de p < 0,05	17,0%

Estos son los valores que muestra la calculadora al abrir la página. Cambia cualquier entrada de arriba para recalcularlos.

Cargando simulación interactiva...

Lección

La teoría — La maldición del ganador

En estadística, la maldición del ganador describe el sesgo de aquellas estimaciones que se seleccionan precisamente por haber resultado estadísticamente significativas. La estimación d̂ del efecto real δ obtenida en un estudio es significativa al nivel α = 0,05 cuando |d̂| > z·SE con z = 1,96; bajo esa condición, su magnitud esperada E(|d̂| | significativo) supera a δ. Andrew Gelman y John Carlin cuantifican este fenómeno mediante el cociente de exageración E(|d̂| | significativo)/δ (el error de tipo M) y mediante la probabilidad de que una estimación significativa tenga el signo opuesto (el error de tipo S). En una estimación normal con λ = δ/SE, la potencia viene dada por Φ(λ − z) + Φ(−λ − z), y la tasa de error de tipo S es Φ(−λ − z) dividida entre la potencia.

Qué significa cada símbolo

δ: el efecto real, en desviaciones estándar de la variable de resultado
d̂: la estimación de δ obtenida en un estudio
n: el número de personas en cada uno de los dos grupos
SE: el error estándar de la estimación, √(2/n)
λ: el efecto real medido en errores estándar, δ/SE
z: el umbral en errores estándar, 1,96 para p < 0,05 bilateral

Supone: Dos grupos de tamaño n con una variable distribuida normalmente y desviación estándar conocida igual a 1. La estimación sigue por tanto una distribución exactamente normal, N(δ, 2/n), y el contraste es una prueba z bilateral al nivel α = 0,05. El efecto real es positivo e idéntico en todos los estudios, los estudios son independientes entre sí y un resultado solo se conserva cuando resulta significativo.

Por debajo del 50% de potencia, todo resultado significativo exagera la magnitud del efecto 🖖

Pulsa Un estudio pequeño. El efecto real es de 0,20 desviaciones estándar y cada grupo cuenta con 50 personas. El error estándar de la estimación resulta ser 0,20, por lo que un estudio solo alcanza p < 0,05 si su estimación se aleja de cero más de 0,392. Cualquier valor menor jamás resultará significativo y, por tanto, nunca llegará a publicarse como hallazgo. Apenas el 17,0% de los estudios supera ese umbral. Quienes lo logran promedian 0,498: 2,49 veces el efecto real que los generó. Observa los puntos coloreados: ninguno queda entre las dos líneas discontinuas, donde precisamente se sitúa el efecto real. Esto ocurre siempre que el efecto real queda por debajo del umbral, circunstancia que se da invariablemente cuando la potencia es del 50% o menos. Pulsa Potencia al 50%: con 192 personas por grupo el umbral desciende a 0,200, igualando el valor real, y aun así toda estimación significativa lo sobreestima. A partir de ahí una estimación significativa ya puede quedarse corta, pero al menos la mitad pecará por exceso con cualquier tamaño muestral. La razón es sencilla: las estimaciones cercanas a cero, las que habrían reducido la media, son justo las que nunca alcanzan significación. Con Potencia del 80% y 400 por grupo, la proporción sigue siendo del 61,9%.

La estimación significativa de un estudio pequeño mide el ruido 🖖

Pulsa Un estudio pequeño y luego Un efecto de 0,05. El efecto real se reduce a una cuarta parte, pero la media de las estimaciones significativas apenas varía: pasa de 0,498 a 0,471. Con 50 personas por grupo, cualquier efecto real situado entre cero y el umbral arroja estimaciones significativas cuya media oscila entre 0,468 y 0,552. En unidades de error estándar, esa franja va de 2,34 a 2,76, y es idéntica para todo diseño con una potencia del 50% o menor. Por tanto, en un estudio de estas características, la magnitud de un resultado significativo solo refleja el tamaño de su propio error estándar. El propio estudio es incapaz de advertirlo desde dentro. Introduce 0,498 en la fórmula de potencia como si fuese el valor real: este diseño, cuya potencia real es del 17,0%, aparentará tener un 70,2%. Haz lo mismo con 0,471 y el diseño del 5,7% parecerá alcanzar un 65,4%. Andrew Gelman y John Carlin describieron este círculo vicioso en su artículo de 2014: toda estimación significativa en un estudio pequeño resulta abultada, y calcular la potencia retrospectiva con ese valor hace que el diseño parezca impecable. Su solución consiste en fijar el tamaño del efecto desde fuera del estudio, recurriendo a la bibliografía previa o a lo que resulte plausible en la práctica, que es justo lo que plantea el problema resuelto de más abajo.

Un resultado significativo puede apuntar en la dirección errónea 🖖

Pulsa Un efecto de 0,05. La potencia es del 5,7%, apenas por encima del 5% que arrojaría un efecto nulo, y el 23,7% de los estudios que alcanzan significación detecta un efecto en la dirección contraria. Cada uno de ellos venía acompañado de un intervalo de confianza del 95% que excluía el cero, pero en el lado equivocado. Gelman y Carlin denominan a esto error de tipo S (signo), y a la sobreestimación, error de tipo M (magnitud); en este caso, las estimaciones significativas multiplican por 9,42 el efecto real. El ejemplo que citan es el trabajo de 2007 de Satoshi Kanazawa, según el cual los progenitores atractivos tienen más hijas: una diferencia de 8 puntos porcentuales con p = 0,015 y un error estándar de 3,3. La bibliografía sobre la proporción de sexos sugiere una diferencia real muy por debajo de un punto. Si fuese de 0,3, estiman los autores, un resultado significativo tendría en torno a un 40% de probabilidades de errar el signo y exageraría el efecto unas 25 veces. Equivocarse de signo es mucho más difícil que exagerar el tamaño: en este modelo, la tasa de signo contrario no llega al 1% mientras la potencia no caiga por debajo del 16,5%, cuando la exageración ya alcanza un factor de 2,5. El siguiente paso, falsos descubrimientos, aborda la incógnita que estas tres cuestiones dejan abierta: de todos los resultados significativos de una disciplina, ¿cuántos responden de verdad a un efecto real?

Problema resuelto al detalle

El estudio que halló 0,45 4 pasos
Un estudio con 50 personas en cada grupo publica un efecto de 0,45 desviaciones estándar, con p = 0,024. Sabemos que intervenciones similares suelen modificar esta variable en torno a 0,10. Si el valor real fuese 0,10, ¿en qué medida estaba este diseño condenado a exagerarlo, qué probabilidad tenía de equivocarse de signo y cuántas personas por grupo harían falta para alcanzar el 80% de potencia? Pulsa El estudio de 0,45: la página fijará δ = 0,10 y n = 50.

Abre este problema en la herramienta
1. Primero, el resultado publicado. El error estándar y el estadístico z:
  
  $SE = 2/50 = 0.2000, z = \frac{0 . 45}{0 . 2000} = 2.25, p = 2 Φ (- 2.25) = 0.024$
2. Tomemos δ = 0,10 de fuentes ajenas al estudio. En errores estándar equivale a λ = 0,5, y la potencia resulta ser:
  
  $λ = \frac{0 . 10}{0 . 2000} = 0.5, power = Φ (0.5 - 1.96) + Φ (- 0.5 - 1.96) = Φ (- 1.46) + Φ (- 2.46) = 0.07215 + 0.00695 = 7 . 91%$
3. Del total de estudios, el 7,91% alcanza significación y el 0,69% resulta significativo con el signo opuesto, lo que representa el 8,8% de los significativos. La magnitud media de estos últimos es 0,479:
  
  $Type S = \frac{0 . 00695}{0 . 0791} = 8 . 8%, E (∣ \hat{d} ∣ ∣ sig) = 0.479 = 4.79 δ$
4. Para lograr una potencia del 80%, λ debe alcanzar z + Φ⁻¹(0,80), ya que la cola lejana es despreciable, con λ = δ√(n/2):
  
  $λ = 1.96 + 0.8416 = 2.8016 = 0.10 n /2 \Rightarrow n = 2 (\frac{2 . 8016}{0 . 10})^{2} = 1569.8$
Respuesta

1.570 personas por grupo, 31,4 veces más. Con 50 por grupo el diseño tenía una potencia del 7,9%, cualquier estimación significativa debía ser de al menos 0,392 y la media de las significativas se sitúa en 0,479 (4,79 veces el valor real), con un 8,8% de signos contrarios. El valor de 0,45 publicado es exactamente lo que arroja este diseño cuando el efecto real es 0,10, de modo que no aporta motivo alguno para descartar 0,10. Escribe 1570 en la página: la potencia asciende al 80,0% y las estimaciones significativas promedian 0,112, apenas 1,12 veces el valor real.

$n = 1570 per group (31.4 \times 50) : power 80 . 0%, E (∣ \hat{d} ∣ ∣ sig) = 0.112 = 1.12 δ$

Ruta de aprendizaje

Lo que p < 0,05 no promete

Referencias (1)

Type S and Type M errors and the exaggeration ratio, the formulas for power and the Type S rate under a normal estimate (note 2), the R function retrodesign() whose figures check:compute reproduces, the beauty-and-sex-ratio example the third insight quotes, and the circle the second insight describes (a significant estimate from a small study fed back into a power analysis makes the study look reasonable): A. Gelman and J. Carlin, "Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors," Perspectives on Psychological Science 9(6), 641–651, 2014.

Por el equipo de 42Math · Contrastado con fuentes publicadas. Se agradecen correcciones.