Hallazgos falsos

Pulsa Potencia del 80 %. Una de cada diez hipótesis es cierta y nadie manipula los datos: un hallazgo exige p < 0,05 y nada más. Por cada 1.000 hipótesis, la disciplina arroja 80 hallazgos verdaderos y 45 falsos. El 64,0 % de lo que publica es real. Pulsa ahora Potencia del 20 %. Los hallazgos falsos siguen clavados en 45. Proceden de las 900 hipótesis falsas con α = 5 %, un terreno donde la potencia no interviene; en esta tirada son las mismas 48 celdas sin punto y en las mismas posiciones con ambos ajustes. En cambio, los hallazgos verdaderos caen a 20, y la proporción real se desploma al 30,8 %. Solemos pensar que una potencia baja solo perjudica al investigador al hacerle perder efectos reales. También perjudica al lector: un resultado estadísticamente significativo procedente de un estudio débil superó el mismo filtro, pero vale menos porque una fracción menor de quienes lo superan dice la verdad. John Ioannidis formuló la condición en un solo renglón en 2005: un hallazgo tiene más opciones de ser verdadero que falso cuando (1 − β)R > α, siendo 1 − β la potencia y R la razón a priori entre hipótesis ciertas y falsas. Con una de cada diez, R = 1/9, lo que exige superar el 45 % de potencia.

Pulsa Sesgo del 10 %. Los estudios conservan la misma fuerza que antes, un 80 % de potencia, pero uno de cada diez análisis que no detectaron nada acaba publicándose como un hallazgo: basta cambiar la variable principal, aislar un subgrupo o descartar un dato incómodo. Ioannidis denota esa fracción con u. Apenas beneficia a las hipótesis ciertas, que casi siempre salían a la luz de todos modos (el 80 % pasa al 82 %). En cambio, castiga con dureza a las falsas, que un análisis riguroso descartaría el 95 % de las veces. El 10 % de ese 95 % supone 9,5 puntos: una hipótesis falsa se cuela ahora como hallazgo el 14,5 % de las veces, casi el triple que antes. La proporción de hallazgos que son reales se desploma del 64,0 % al 38,6 %. La fila de resultados inferior ilustra el precio de esa trampa: una disciplina limpia alcanza ese mismo 38,6 % con estudios a solo el 28,3 % de potencia. Si arrastras la potencia hasta el 99 %, el campo sesgado apenas sube al 43,2 %; con un 100 % de potencia llega al 43,4 %, y ningún estudio puede aspirar a más. Pulsa ahora Sin sesgo, 35 %: 43,8 %. Una disciplina rigurosa al 35 % de potencia publica resultados tan fiables como los que jamás alcanzará una con potencia perfecta y u = 10 %. El punto de corte, α/(α + u(1 − α)) = 34,5 %, no depende de π. Mueve el primer control deslizante y comprobarás que no se inmuta.

Pulsa Potencia del 80 %, luego Reiniciar y avanza con Paso hasta la última fase, donde cada hallazgo publicado vuelve a ponerse a prueba sin sesgo y con la misma potencia. Un efecto verdadero se confirma el 80 % de las veces y uno falso solo el 5 %; por eso se replica el 53,0 % de los hallazgos publicados (en esta tirada, 69 de 129). Cuenta las cruces sobre un punto: 12 de los 60 fracasos correspondían a hipótesis verdaderas, y la proporción exacta es del 27,2 %. Nadie falseó nada ni aquellos estudios tenían defecto alguno: al 80 % de potencia, uno de cada cinco efectos reales se nos escapa, tanto la primera vez como la segunda. La tasa de replicación nunca debe interpretarse como la proporción de hipótesis ciertas de una disciplina. Jamás superará la potencia de las replicaciones, pues todo hallazgo verdadero reaparece a esa tasa y los falsos a nivel α, que siempre es menor. Una disciplina cuyas replicaciones operasen al 50 % de potencia vería fracasar la mitad de sus hallazgos aun cuando todos fuesen ciertos. Pulsa Sesgo del 10 % y esas mismas replicaciones rigurosas solo confirmarán el 33,9 %: gran parte de lo que intentan repetir nunca existió.