Esta é uma tradução automática; o artigo original em inglês é a versão de referência. Ler o original
Execute vinte testes sobre o nada, e um deles será significativo
Um teste em dados reais dá p = 0,0002982. Vinte testes em ruído puro dão uma manchete.
Abra a t-test tool nas suas definições por omissão: uma amostra de 30 com uma média de 78 em relação a uma hipótese de 72, desvio-padrão de 8. Esta indica t = 4,1079 com 29 graus de liberdade e p = 0,0002982. Isso representa três probabilidades em dez mil de observar uma diferença tão grande se não existisse qualquer diferença real. Rejeite a hipótese nula e fique razoavelmente tranquilo quanto a isso.
Agora defina α = 0,05 e pense no que esse limiar realmente promete.
A promessa é por teste
α = 0,05 diz: se a hipótese nula for verdadeira, este teste irá rejeitá-la erradamente 5% das vezes.
Execute vinte testes independentes em dados sem nada. Cada um comporta-se devidamente. Cada um tem 95% de probabilidade de, corretamente, não encontrar nada. Mas a probabilidade de todos os vinte se comportarem devidamente é
0,9520 = 0,358
pelo que a probabilidade de pelo menos um deles dar alarme é de 64,2%. Não é um risco — é o resultado provável. Vinte testes em ruído puro produzem um resultado significativo na maioria das vezes, e esse resultado significativo terá um valor p inferior a 0,05, um intervalo de confiança que exclui o zero e todas as outras marcas de uma descoberta real, porque é indistinguível de uma.
Indo mais longe: com quarenta testes a probabilidade é de 87%, com cem é de 99,4%. Qualquer pessoa que realize comparações suficientes tem uma descoberta garantida — e a descoberta é a própria aritmética.
A correção aritmética, e por que razão não é suficiente
A correção é tão simples como o problema. Se vai realizar m testes e quer que a probabilidade de qualquer falso positivo se mantenha nos 5%, teste cada um a α/m. Isto é Bonferroni: para vinte testes, exija p < 0,0025 em vez de p < 0,05.
Insira 0,0025 na caixa α da t-test tool e observe o que acontece ao valor crítico — a fasquia para o que é "significativo" afasta-se, e resultados que ultrapassavam confortavelmente a linha antiga já não o fazem. Esse é o preço, e é um preço real: um limiar mais rigoroso significa que efeitos genuínos são ignorados. Existem correções mais suaves que equilibram os dois erros de forma diferente, mas cada uma delas custa poder estatístico, porque não é possível obter nada a troco de nada aqui.
O problema mais profundo é que a correção necessita de m, e m é habitualmente desconhecido. Não se trata do número de testes no artigo — trata-se do número de testes que foram realizados. Cada subgrupo que não chegou à versão final do artigo, cada medida de resultado experimentada e descartada, cada escolha sobre quais os outliers a excluir, é uma comparação. Um estudo que reporta um único teste pode ter tomado cinquenta decisões, e o leitor não tem forma de as contar.
Era para isto que Ioannidis apontava em 2005 com o título intencionalmente contundente Why Most Published Research Findings Are False. O seu argumento não é que os investigadores façam batota. É que, quando muitos grupos testam muitas hipóteses, a maioria das quais é falsa à partida, as descobertas significativas que emergem são dominadas pelas falsas — e nenhum teste individual nesse conjunto está a fazer nada de errado.
O que observar em alternativa
Três hábitos que sobrevivem a isto, todos eles demonstráveis pelas ferramentas deste site.
Olhe para a dimensão, não para o veredito. Um valor p responde a "isto poderia ser ruído?" e a mais nada. Não diz nada sobre a dimensão do efeito nem sobre se este é relevante. A ferramenta confidence interval existe porque um intervalo contém ambas as informações: onde o efeito provavelmente se situa e com que precisão o conhecemos. Um resultado significativo com um intervalo que vai de "trivial" a "enorme" não lhe disse quase nada, e o seu valor p esconde isso.
Pergunte onde reside a diferença. Um teste do qui-quadrado que se revela significativo diz-lhe que uma tabela não se ajusta — não qual foi a parte que falhou. A residuals tool ilustra o mesmo ponto estruturalmente: a estatística global é um resumo, e as células são onde está a informação. Uma descoberta que não consegue localizar é, por norma, uma descoberta que não consegue replicar.
Conte as comparações antes de olhar. Decidir o que vai testar, e quantas coisas, antes de ver os dados é a única versão disto que funciona — porque, após a chegada dos dados, cada limiar é negociável e a negociação é invisível. O pré-registo é a única forma de tornar m um número conhecido.
O valor de 0,0002982 que a ferramenta apresentou no topo é um valor p genuinamente pequeno. É também apenas um número de um único teste, e o seu significado depende inteiramente de algo que o próprio número não pode revelar: quantos outros testes realizou para o obter.