Comparações Múltiplas

Vinte hipóteses, cada uma avaliada a 5%. Execute-as uma a uma e acompanhe onde vai parar cada valor p; depois, mude a regra que decide quais contam como achados. Comece com puro ruído e introduza efeitos reais.

Exemplo resolvido — Comparações Múltiplas

Número médio de falsos achados, sem correção	1,00
Nível de Bonferroni para cada teste	0,0025

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Lição

A teoria — Comparações Múltiplas

Uma família de testes é o conjunto de todos os testes de hipóteses realizados sobre uma mesma questão ou conjunto de dados, e a sua taxa de erro por família é a probabilidade de rejeitar pelo menos uma hipótese nula verdadeira: 1 − (1 − α)^m₀ quando m₀ nulas verdadeiras independentes são avaliadas a um nível α. Bonferroni testa cada uma das m hipóteses a α/m. Holm ordena os valores p e testa o i-ésimo menor a α/(m − i + 1), interrompendo no primeiro que falhar. Ambos mantêm a taxa de erro por família menor ou igual a α. Benjamini–Hochberg rejeita os k menores valores p, em que k é o maior i com p_(i) ≤ iα/m, mantendo a taxa de falsas descobertas, a fração média de rejeições que são falsas, menor ou igual a (m₀/m)α para testes independentes.

O que significa cada símbolo

m: o número de testes na família
m₀: quantos deles são nulas verdadeiras; m − m₀ são efeitos reais
α: o nível de significância exigido a cada teste isolado, aqui 5%
p₍ᵢ₎: o i-ésimo menor valor p na família
δ: a magnitude de um efeito real, medida em erros padrão da sua estatística de teste

Pressupõe: Os testes são testes z bilaterais e independentes; o valor p de uma nula verdadeira segue uma distribuição uniforme entre 0 e 1; todos os efeitos reais têm a mesma magnitude; e a família, a sua dimensão e a respetiva regra são fixadas antes de quaisquer dados serem observados.

Catorze testes sem efeito, e um falso achado torna-se mais provável do que o contrário 🖖

Prima Catorze testes sem efeito. Cada teste cumpre a sua promessa isolada: uma nula verdadeira passa os 5% uma vez em vinte. A família não faz tal promessa. A probabilidade de nenhum dos catorze passar é 0,95¹⁴; logo, a probabilidade de pelo menos um passar é de 51,23%, e com vinte testes chega aos 64,15%. Treze testes dão 48,67%, o que torna catorze a menor família em que um falso achado é o desfecho mais provável. Com vinte, a tabela indica que o número médio de falsos achados é 20 × 0,05 = 1, exatamente, embora 35,85% destas famílias não encontrem rigorosamente nada. Randall Munroe ilustrou isto com perfeição na tira 882 do xkcd, Significant: cientistas testam vinte cores de jelly beans contra o acne, a verde fica abaixo de 0,05 e o jornal publica em manchete "apenas 5% de probabilidade de coincidência!". Para o teste da guloseima verde isolado, 5% é a taxa à qual uma nula verdadeira passa. A notícia esqueceu-se das outras dezanove.

Com puro ruído, as três correções concordam; com efeitos reais, cumprem promessas distintas 🖖

Prima Vinte testes sem efeito e consulte a tabela. Bonferroni deixa passar um falso achado em 4,88% das famílias; Holm, nos mesmos 4,88%; Benjamini–Hochberg, em 5,00%. Quando todas as hipóteses são nulas verdadeiras, qualquer achado é falso: os três métodos protegem exatamente a mesma coisa. Prima agora Cinco efeitos reais em vinte. Bonferroni e Holm continuam a manter a probabilidade de surgir sequer um falso achado abaixo de 5% (em 3,69% e 4,13%), mas pagam um preço: cada um encontra em média cerca de dois dos cinco efeitos reais. Já Benjamini–Hochberg permite um falso achado em 13,99% das famílias e identifica 2,81. O que este método controla é a proporção de achados que são falsos: em média, no máximo (m₀/m) × 5%, que aqui dá 15/20 × 5% = 3,75%. Yoav Benjamini e Yosef Hochberg demonstraram este limite para testes independentes em 1995, e o cálculo exato da página assenta nele com rigor. Desloque o cursor do poder de 20% até 99%: os 3,75% permanecem inalterados, enquanto a probabilidade de pelo menos um falso achado sobe de 4,63% para 19,84%. Se uma única falsa alegação for prejudicial, controle a probabilidade de haver alguma. Se o objetivo for rastrear muitos candidatos antes de uma etapa confirmatória, caso ilustrado por Benjamini e Hochberg no desenvolvimento de novos fármacos, aceitar uma fração pequena e previsível de falsas pistas é o preço a pagar para resgatar mais efeitos reais.

Benjamini–Hochberg torna-se mais generoso quanto mais houver para descobrir 🖖

O limiar de Bonferroni é 0,05/m independentemente do que os dados revelem. Assim, com vinte testes e 80% de poder, cada efeito real é detectado em 41,23% das vezes, quer seja o único efeito real, quer faça parte de quinze. Benjamini–Hochberg, por sua vez, compara o i-ésimo menor valor p com i × 0,05/m; cada resultado expressivo que antecede um teste empurra-o uma posição mais para baixo na lista ordenada, onde o limiar é mais generoso e fácil de superar. Com um único efeito real entre vinte, este é encontrado em 42,06% das vezes, praticamente o mesmo que em Bonferroni; com cinco, atinge 56,24% cada; com quinze, salta para 72,68%, enquanto Holm avançou timidamente de 41,25% para 46,07%. Prima Quinze efeitos reais em vinte e selecione Ordenado por p para compreender o motivo. A escada de Holm e a reta de Benjamini–Hochberg partem ambas de 0,0025 para o menor valor p e terminam em 0,05 para o maior, mas o critério de Holm permanece rente ao chão até às últimas posições: atinge apenas 0,05/11 = 0,0045 no décimo posto, enquanto Benjamini–Hochberg já chegou a 10 × 0,0025 = 0,025. Benjamini e Hochberg salientaram isso mesmo no seu artigo: quanto mais hipóteses nulas forem falsas, maior será o ganho de poder face a um método que vigia qualquer falso achado. Em qualquer família, os três critérios estão encadeados, porque 0,05/m ≤ 0,05/(m − i + 1) ≤ i × 0,05/m: Holm retém tudo o que Bonferroni retém, e Benjamini–Hochberg retém tudo o que Holm retém.

Problema resolvido na íntegra

O custo de Bonferroni no tamanho da amostra 3 passos
Um estudo prevê vinte comparações com correção de Bonferroni. Cada comparação foi desenhada para ter 80% de poder a 5%. Em quanto deve aumentar cada amostra para recuperar os 80%? Comece por premir Cinco efeitos reais em vinte: a tabela de resultados fornece a magnitude do efeito e o respetivo poder sob Bonferroni.

Abrir este problema na ferramenta
1. Pelos dados da página: 80% de poder a 5% corresponde a um efeito de δ = 2,802 erros padrão; ao limiar de 0,0025 de Bonferroni, esse mesmo efeito é detectado em apenas 41,23% das vezes:
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. Desprezando a probabilidade de cair na cauda oposta (que é inferior a 10⁻⁶ a 5% e a 10⁻¹¹ a 0,0025), obter 80% de poder exige δ = z + 0,8416, onde z é o valor crítico bilateral e Φ(0,8416) = 0,80. A 5%, temos 1,960 + 0,842 = 2,802; a 0,0025, obtemos 3,023 + 0,842 = 3,865:
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. O erro padrão decresce com 1/√n, pelo que δ cresce com √n; logo, o tamanho da amostra deve aumentar pelo quadrado dessa razão:
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
Resposta

Cerca de 1,90 vezes mais observações em cada comparação, já que (3,865/2,802)² = 1,903. Com 100 comparações, o limiar de Bonferroni passa a 0,0005 e o fator é 2,38. Holm e Benjamini–Hochberg exigem aumentos menores, numa medida que varia com o número de efeitos reais; a tabela da página indica o que cada método detecta, o que este cálculo teórico não contempla.

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

Percurso de aprendizagem

O que p < 0,05 não promete

Referências (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

Pela equipa 42Math · Verificado com fontes publicadas. Correções bem-vindas.