A Maldição do Vencedor

Escolha um efeito real e o tamanho de cada amostra, e execute o estudo repetidamente. Cada ponto representa a estimativa de um estudo; os coloridos alcançaram p < 0,05. Repare onde eles vão parar em relação ao efeito real.

Exemplo resolvido — A Maldição do Vencedor

Erro padrão da estimativa	0,2000
Efeito real em erros padrão, λ	1,00
Menor estimativa com p < 0,05	0,392
Poder: chance de p < 0,05	17,0%
Razão de exagero (Tipo M), relativa ao real	2,49
Estimativas que sobrestimam o efeito real	100,0%
Estimativas com sinal invertido (Tipo S)	0,90%

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Lição

A teoria — A Maldição do Vencedor

A maldição do vencedor em estatística é o viés que afeta as estimativas selecionadas justamente por serem estatisticamente significativas. A estimativa d̂ de um efeito real δ num estudo é significativa a α = 0,05 quando |d̂| > z·SE com z = 1,96; sob essa condição, o seu valor esperado em magnitude, E(|d̂| | significativo), supera δ. Andrew Gelman e John Carlin medem este desvio através da razão de exagero E(|d̂| | significativo)/δ (o erro do Tipo M) e da probabilidade de uma estimativa significativa apresentar o sinal trocado (o erro do Tipo S). Para uma estimativa com distribuição normal e λ = δ/SE, o poder estatístico é dado por Φ(λ − z) + Φ(−λ − z), e a taxa de erro do Tipo S corresponde a Φ(−λ − z) dividida pelo poder.

O que significa cada símbolo

δ: o efeito real, em desvios-padrão da variável de desfecho
d̂: a estimativa de δ obtida num estudo
n: o número de participantes em cada um dos dois grupos
SE: o erro padrão da estimativa, √(2/n)
λ: o efeito real medido em erros padrão, δ/SE
z: o limiar em erros padrão, 1,96 para p < 0,05 bilateral

Pressupõe: Dois grupos de tamanho n com uma variável de desfecho com distribuição normal e desvio-padrão conhecido igual a 1, de modo que a estimativa segue exatamente uma normal N(δ, 2/n) e o teste é um teste z bilateral a α = 0,05. O efeito real é positivo e constante em todos os estudos, os estudos são mutuamente independentes e um estudo só é retido se for estatisticamente significativo.

Abaixo de 50% de poder, todo resultado significativo sobrestima o tamanho do efeito 🖖

Clique em Estudo pequeno. O efeito real é de 0,20 desvios-padrão e cada grupo conta com 50 pessoas; assim, o erro padrão da estimativa é 0,20, e o estudo só atinge p < 0,05 se a estimativa se afastar mais de 0,392 do zero. Nada menor atinge significância; logo, nada menor chega a ser publicado como descoberta. Apenas 17,0% dos estudos ultrapassam esse limiar, e os que chegam lá registam uma média de 0,498 — 2,49 vezes o efeito genuíno que os originou. Observe os pontos coloridos: nenhum fica entre as duas barras tracejadas, que é onde o efeito real está. O mesmo acontece sempre que o efeito real se situa abaixo do limiar, o que ocorre invariavelmente quando o poder é de 50% ou menos. Clique em Poder a 50%: 192 participantes por grupo trazem o limiar para 0,200, nivelando-o com o valor real, mas ainda assim toda estimativa significativa o sobrestima. A partir desse ponto, uma estimativa significativa já pode ficar abaixo do valor real; ainda assim, em qualquer tamanho de amostra, pelo menos metade delas peca por excesso. As estimativas próximas de zero, que puxariam a média para baixo, são justamente as que nunca atingem significância. Em 80% de poder, com 400 participantes por grupo, a proporção ainda é de 61,9%.

Num estudo pequeno, a estimativa significativa mede o ruído 🖖

Clique em Estudo pequeno e depois em Efeito de 0,05. O efeito real cai para um quarto do valor anterior, mas a média das estimativas significativas quase não se move: passa de 0,498 para 0,471. Com 50 pessoas por grupo, qualquer efeito real entre zero e o limiar produz estimativas significativas cuja média se mantém entre 0,468 e 0,552. Em erros padrão, essa faixa vai de 2,34 a 2,76 — a mesma para qualquer delineamento com 50% de poder ou menos. Em estudos desse porte, a dimensão de um resultado significativo reflete sobretudo o tamanho do erro padrão. Quem observa o estudo por dentro não nota essa ilusão. Ao introduzir 0,498 na fórmula de poder como se fosse a verdade, este desenho de 17,0% aparenta ter 70,2%; fazendo o mesmo com 0,471, o estudo com 5,7% de poder parece ostentar 65,4%. Andrew Gelman e John Carlin descreveram rigorosamente essa armadilha no artigo de 2014: qualquer estimativa significativa num estudo pequeno é inflacionada, e calcular o poder com base nela faz o estudo parecer plenamente justificado. A solução recomendada pelos autores é buscar o tamanho do efeito fora do estudo, na literatura científica ou no que for fisicamente plausível, exatamente como se faz no problema resolvido abaixo.

Um resultado significativo pode apontar no sentido errado 🖖

Clique em Efeito de 0,05. O poder é de 5,7%, quase colado aos 5% que um efeito estritamente nulo produziria. Entre os estudos que alcançam significância estatística, 23,7% encontram um efeito na direção contrária — cada um deles acompanhado por um intervalo de confiança de 95% que exclui o zero, mas do lado errado. Gelman e Carlin chamam a isso erro do Tipo S (de sinal), e ao exagero na magnitude chamam erro do Tipo M (de magnitude); aqui, as estimativas significativas atingem 9,42 vezes o efeito verdadeiro. O caso clássico analisado pelos autores é o relato de Satoshi Kanazawa (2007) segundo o qual pais atraentes tinham mais filhas: uma diferença de 8 pontos percentuais com p = 0,015 e erro padrão de 3,3. A literatura sobre a proporção entre os sexos ao nascer indica uma diferença real bem inferior a um ponto. Se ela fosse de 0,3, estimam eles, um resultado significativo teria cerca de 40% de probabilidade de obter o sinal errado e sobrestimaria o efeito por um fator de 25. O sinal é muito mais difícil de errar do que a magnitude: neste modelo, a taxa de sinal trocado não passa de 1% até o poder cair abaixo de 16,5%, patamar em que a razão de exagero já chega a 2,5. O degrau seguinte, falsas descobertas, coloca a pergunta que estas três deixam em aberto: de todos os resultados significativos numa área científica, quantos são de facto verdadeiros?

Problema resolvido na íntegra

O estudo que encontrou 0,45 4 passos
Um estudo com 50 pessoas em cada grupo relata um efeito de 0,45 desvios-padrão, com p = 0,024. Sabe-se que intervenções semelhantes alteram este desfecho em cerca de 0,10. Se 0,10 for o valor real, em quanto é que este delineamento teve de o sobrestimar, qual era a probabilidade de errar o sinal e quantas pessoas por grupo seriam necessárias para alcançar 80% de poder? Clique em O estudo de 0,45: a página define δ = 0,10 e n = 50.

Abrir este problema na ferramenta
1. Comecemos pelo resultado publicado. O erro padrão e a estatística z:
  
  $SE = 2/50 = 0.2000, z = \frac{0 . 45}{0 . 2000} = 2.25, p = 2 Φ (- 2.25) = 0.024$
2. Tomando δ = 0,10 a partir de evidência externa. Em erros padrão, temos λ = 0,5, e o poder é:
  
  $λ = \frac{0 . 10}{0 . 2000} = 0.5, power = Φ (0.5 - 1.96) + Φ (- 0.5 - 1.96) = Φ (- 1.46) + Φ (- 2.46) = 0.07215 + 0.00695 = 7 . 91%$
3. De todos os estudos, 7,91% atingem significância e 0,69% são significativos do lado errado, o que representa 8,8% dos significativos. Estes têm uma magnitude média de 0,479:
  
  $Type S = \frac{0 . 00695}{0 . 0791} = 8 . 8%, E (∣ \hat{d} ∣ ∣ sig) = 0.479 = 4.79 δ$
4. Para atingir 80% de poder, λ tem de alcançar z + Φ⁻¹(0,80), sendo a cauda distante desprezável, com λ = δ√(n/2):
  
  $λ = 1.96 + 0.8416 = 2.8016 = 0.10 n /2 \Rightarrow n = 2 (\frac{2 . 8016}{0 . 10})^{2} = 1569.8$
Resposta

1 570 pessoas por grupo, 31,4 vezes mais. Com 50 por grupo, o delineamento tinha 7,9% de poder; uma estimativa significativa precisava de ser de pelo menos 0,392, e a média das significativas situa-se em 0,479 — 4,79 vezes a verdade —, com 8,8% delas a exibirem o sinal errado. O valor relatado de 0,45 é precisamente o que este desenho produz quando o efeito real é 0,10; logo, não dá motivos para rejeitar 0,10. Introduza 1570 na página: o poder sobe para 80,0% e a média das estimativas significativas passa a 0,112, 1,12 vezes o valor real.

$n = 1570 per group (31.4 \times 50) : power 80 . 0%, E (∣ \hat{d} ∣ ∣ sig) = 0.112 = 1.12 δ$

Percurso de aprendizagem

O que p < 0,05 não promete

Referências (1)

Type S and Type M errors and the exaggeration ratio, the formulas for power and the Type S rate under a normal estimate (note 2), the R function retrodesign() whose figures check:compute reproduces, the beauty-and-sex-ratio example the third insight quotes, and the circle the second insight describes (a significant estimate from a small study fed back into a power analysis makes the study look reasonable): A. Gelman and J. Carlin, "Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors," Perspectives on Psychological Science 9(6), 641–651, 2014.

Pela equipa 42Math · Verificado com fontes publicadas. Correções bem-vindas.