Paragem Opcional

As experiências aqui apresentadas partem de um efeito nulo. Prima Próximo lote e acompanhe a pontuação z após cada grupo de dados: na primeira vez em que ultrapassar o limiar, o ensaio é interrompido e declara p < 0,05. Depois, corra as restantes 999.

Exemplo resolvido — Paragem Opcional

Limiar na análise 1	1,960
A análise 1 para quando p é inferior a	0,0500
Limiar na análise K	1,960
A análise K para quando p é inferior a	0,0500
Taxa de falsos positivos sem efeito, exata	19,34%
Probabilidade de detetar o efeito real, exata	86,49%
Fração média de dados utilizada, efeito real	50,0%
Neste sorteio de 1.000 experiências (sorteio 1)	176 de 1.000 executadas pararam com p < 0,05 (17,60%)

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Lição

A teoria — Paragem Opcional

A paragem opcional consiste em decidir quando terminar uma experiência com base nos resultados intermédios: realiza-se um teste após cada lote de dados e interrompe-se a recolha logo que o resultado seja significativo. Mantendo o limiar de amostra fixa |z_k| ≥ 1,96 em cada uma de K análises, a probabilidade de falso positivo passa a ser P(|z_k| ≥ 1,96 para algum k ≤ K), valor estritamente superior a 5% para todo o K ≥ 2. Uma fronteira sequencial em grupos estabelece limiares c₁, …, c_K calibrados para que essa probabilidade totalize rigorosamente 5%: o método de Pocock recorre a um valor constante, enquanto o de O'Brien e Fleming utiliza C_B√(K/k).

O que significa cada símbolo

K: o número de análises, uniformemente espaçadas ao longo dos dados
zₖ: a estatística z acumulada de todos os dados até à análise k
cₖ: o limiar na análise k; a experiência termina quando |zₖ| ≥ cₖ
θ: o efeito real adicionado a cada lote, em desvios-padrão do total de um lote

Pressupõe: Assume-se que os dados seguem uma distribuição normal com desvio-padrão conhecido, ou têm dimensão suficiente para assegurar a validade do teste z; as análises encontram-se regularmente espaçadas; todos os testes são bicaudais, recorrendo a 5% em cada análise ingénua e a níveis mais rigorosos em cada fronteira para manter a taxa global em 5%; e a dimensão amostral máxima é fixada previamente e idêntica para todas as regras, limitando-se as análises a subdividi-la.

Cada análise acrescenta menos do que a anterior, mas dez bastam para transformar 5% em 19% 🖖

Prima Dez análises. Não existe qualquer efeito nestas experiências. A primeira análise comporta-se como deve: interrompe 5,00% delas, exatamente a quota esperada de um teste isolado. A segunda apanha mais 3,31%, experiências que falharam a meta por pouco na primeira e acabaram por ultrapassar a linha na segunda. Cada verificação seguinte acrescenta cada vez menos, não passando de 0,81 pontos na décima. Cria-se assim a ilusão de que espreitar é inofensivo, mas o acumulado ao fim de dez análises ascende a 19,34%. A tabela mostra onde isso vai parar. De 4 análises para 100, cada duplicação do número de etapas soma entre 5,0 e 5,5 pontos percentuais, atingindo 37,36% com cem análises. Em ponto algum da página se questiona a dimensão de cada lote, pois a resposta não depende dela: dez análises custam rigorosamente os mesmos 19,34%, quer cada lote inclua dez doentes ou dez mil. Em 1974, Klim McPherson alertou os clínicos para este facto no New England Journal of Medicine: dez análises sem ajustamento convertiam os 5% nominais em quase 20% — cinco anos após Peter Armitage, B. C. Rowe e o próprio terem tabulado esta inflação no Journal of the Royal Statistical Society. O valor-p obtido no instante da paragem é calculado como se o estudo tivesse sido planeado desde a origem para terminar ali, o que nunca aconteceu.

Pocock pode permitir mais do que um quinto de 5% em cada uma de cinco análises 🖖

Prima Pocock, cinco análises. Aplica-se um limiar fixo em cada análise, ajustado em alta até a taxa global se situar exatamente nos 5%: |z| ≥ 2,413, o que requer um valor-p inferior a 0,0158. Uma divisão equitativa de 5% atribuiria 0,01 a cada análise — a conhecida correção de Bonferroni para <a href="/stat/multiple-comparisons">comparações múltiplas</a> —, mas isso seria desnecessariamente severo aqui. Os cinco testes partilham dados acumulados. Os dados da quarta análise representam quatro quintos dos dados da quinta; a correlação entre as duas estatísticas z é √(4/5) = 0,894, e uma experiência que ultrapasse o limiar na quinta esteve habitualmente muito perto de o fazer na quarta. Somar diretamente as cinco probabilidades, 5 × 0,0158 = 7,9%, conta estas sobreposições repetidas vezes. A discrepância alarga-se com o número de análises: com 100 análises, Pocock autoriza um p < 0,0040 em cada uma, oito vezes mais do que 0,05/100. Stuart Pocock descreveu este método na Biometrika em 1977 precisamente para o caso ilustrado nesta página: grupos com igual número de doentes e uma resposta normal de variância conhecida. Prima agora O'Brien–Fleming, cinco análises. O limiar desta regra diminui à medida que os dados se avolumam, segundo C_B√(K/k): começa em 4,562 na primeira análise, onde p tem de ser inferior a cerca de 0,000005, e desce para 2,040 na quinta. As barras evidenciam o resultado: quatro quintos da margem de 5% são despendidos nas duas últimas análises.

Existindo um efeito real, O'Brien–Fleming preserva quase todo o poder e Pocock perde nove pontos 🖖

Prima Pocock, efeito real. O efeito é dimensionado de modo a que um teste único com a totalidade dos dados o detete em 80% das ocasiões. Repartidos os mesmos dados por cinco análises com a fronteira de Pocock, a taxa de deteção cai para 70,89%. Em contrapartida, o estudo termina mais cedo: utiliza, em média, 70,7% dos dados. Prima O'Brien–Fleming, efeito real: atinge 78,88%, consumindo 80,1%. O seu último limiar, 2,040, é apenas ligeiramente mais exigente do que 1,96; por isso, um ensaio levado até ao fim é avaliado quase como num teste convencional único. A tabela confirma a tendência: com 100 análises, O'Brien–Fleming retém 77,85% e Pocock desce para 60,65%. As duas colunas que avaliam a paragem a qualquer p < 0,05 revelam por que razão este atalho seduz quem investiga. Deteta o efeito em 84,84% das vezes com cinco análises — mais do que qualquer uma das fronteiras —, mas apenas porque também inventaria um efeito em 14,17% das situações em que não existia nada.

Problema resolvido na íntegra

A quarta análise de dez 4 passos
Uma loja online testa uma nova página de pagamento com 10.000 visitantes, avaliando o resultado a cada 1.000. Sob a fronteira de O'Brien–Fleming, quão pequeno tem de ser o valor-p na quarta análise para que o teste seja interrompido? Comece por premir Dez análises, O'Brien–Fleming: a página indica o limiar na primeira e na última análise.

Abrir este problema na ferramenta
1. A partir da página, o limiar na última análise é C_B:
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. Todos os outros limiares correspondem a C_B escalado por √(K/k). Na quarta de dez análises:
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. Como valor-p bicaudal, a partir da distribuição normal:
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. Para comparação, parando a qualquer p < 0,05 ao longo das mesmas dez análises, a partir da tabela:
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
Resposta

p inferior a 0,00097, cerca de um em cada mil. Um resultado com p = 0,004 na quarta análise, que encerraria um teste ingénuo com anúncio de vitória, mantém o ensaio de O'Brien–Fleming em curso. Na décima análise, a fasquia situa-se em p < 0,0369, ligeiramente mais exigente do que 0,05, e todo o procedimento restringe a taxa de falsos positivos a 5%, enquanto a paragem ao primeiro p < 0,05 deixaria passar 19,34%.

$p_{4} < 0.00097, p_{10} < 0.0369$

Percurso de aprendizagem

O que p < 0,05 não promete

Referências (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

Pela equipa 42Math · Verificado com fontes publicadas. Correções bem-vindas.