Achados Falsos

Clique em 80% de poder. Uma em cada dez hipóteses é verdadeira e ninguém adultera a análise; por isso, um achado significa p < 0,05 e nada mais. Em cada 1.000 hipóteses testadas, a área científica reporta 80 achados verdadeiros e 45 falsos: 64,0% do que publica é real. Clique agora em 20% de poder. Os achados falsos mantêm-se nos 45, porque nascem das 900 hipóteses falsas sob α = 5%, imunes ao poder estatístico. Neste sorteio concreto, correspondem exatamente às mesmas 48 quadrículas sem ponto, nas mesmas posições, em ambas as configurações. Os achados verdadeiros desabam para 20, e a fração real cai para 30,8%. Fala-se habitualmente do baixo poder como um prejuízo para o investigador, que perde efeitos reais. Mas o leitor perde outro tanto. Um resultado estatisticamente significativo vindo de um estudo fraco superou a mesmíssima fasquia e vale menos: uma fatia menor dos resultados que a superam é verdadeira. Em 2005, John Ioannidis sintetizou a regra numa só linha: um achado tem maior probabilidade de ser verdadeiro do que falso quando (1 − β)R > α, onde 1 − β é o poder e R a razão de chances de uma hipótese testada ser verdadeira. Com uma em dez, R = 1/9, o que exige um poder acima de 45%.

Clique em Viés de 10%. Os estudos continuam fortes como antes, com 80% de poder, mas uma em cada dez análises que nada encontrou é reportada como achado: muda-se o desfecho avaliado, isola-se um subgrupo ou descarta-se uma observação inconveniente. Ioannidis chama a essa fração u. O expediente quase não ajuda as hipóteses verdadeiras, que já seriam detectadas na maioria dos casos (80% sobem timidamente para 82%). O golpe atinge as falsas. Um teste honesto rejeitaria essas hipóteses em 95% das vezes; 10% desses 95% somam 9,5 pontos percentuais. Uma hipótese falsa vira achado em 14,5% das ocasiões, quase três vezes mais. A proporção de achados reais cai a pique de 64,0% para 38,6%, e a linha de resultados logo abaixo revela o custo disto: uma área honesta atinge os mesmos 38,6% com estudos a modestos 28,3% de poder. Arraste o poder até aos 99% e o campo com viés avança penosamente até aos 43,2%; a 100% de poder chega a 43,4%, e nenhum estudo vai além disso. Prima agora Sem viés, 35% de poder: 43,8%. Uma comunidade sem viés a trabalhar com apenas 35% de poder publica achados tão fiáveis quanto uma investigação com poder perfeito contaminada por u = 10%. O ponto de encontro, α/(α + u(1 − α)) = 34,5%, não contém π. Mova o primeiro seletor à vontade: ele não sai do sítio.

Clique em 80% de poder, depois em Recomeçar e avance até à última etapa, onde cada achado publicado é repetido com integridade e com o mesmo poder. Um achado verdadeiro confirma-se em 80% das tentativas e um falso em 5%; assim, 53,0% dos achados publicados replicam-se — neste sorteio, 69 em 129. Conte as cruzes pousadas sobre um ponto: 12 dos 60 fracassos eram hipóteses verdadeiras, e a proporção teórica exata é de 27,2%. Ninguém fez batota e nada falhou nesses estudos: com 80% de poder, um em cada cinco efeitos reais escapa, tanto na primeira vez como na segunda. Uma taxa de replicação não pode, por isso, ser lida como a fração verdadeira de um campo científico. Ela nunca ultrapassará o poder das próprias replicações, já que os achados verdadeiros regressam a essa taxa e os falsos a uma taxa α, invariavelmente inferior. Uma área cujas replicações operem a 50% de poder veria metade dos seus achados falhar ainda que todos fossem genuínos. Selecione Viés de 10% e as mesmíssimas replicações honestas confirmam apenas 33,9%, simplesmente porque boa parte do que foram chamadas a repetir nunca existiu.