Parada opcional

Estos experimentos parten sin efecto alguno en los datos. Pulsa Siguiente lote y observa el valor de z tras cada entrega: en cuanto cruza la línea, el experimento se detiene y declara p < 0,05. Luego ejecuta los 999 restantes.

Ejemplo resuelto — Parada opcional

Umbral en la inspección 1	1,960
Umbral en la inspección K	1,960
Tasa exacta de falsos positivos sin efecto	19,34%
Probabilidad exacta de detectar el efecto real	86,49%
En esta tirada de 1000 experimentos (tirada 1)	176 de 1000 completados se detuvieron con p < 0,05 (17,60%)

Estos son los valores que muestra la calculadora al abrir la página. Cambia cualquier entrada de arriba para recalcularlos.

Cargando simulación interactiva...

Lección

La teoría — Parada opcional

Parada opcional es la decisión de cuándo concluir un experimento observando sus resultados sobre la marcha: realizar una prueba tras cada lote de datos y detenerse en cuanto el resultado es significativo. Con el umbral de muestra fija |z_k| ≥ 1,96 en cada una de las K inspecciones, la probabilidad de un falso positivo es P(|z_k| ≥ 1,96 para algún k ≤ K), estrictamente superior al 5 % para todo K ≥ 2. Una frontera secuencial por grupos elige los umbrales c₁, …, c_K de modo que esta probabilidad sea exactamente del 5 %: la de Pocock utiliza una constante única y la de O'Brien y Fleming emplea C_B√(K/k).

Qué significa cada símbolo

K: el número de inspecciones, distribuidas a intervalos regulares a lo largo de los datos
zₖ: el estadístico z de todos los datos acumulados hasta la inspección k
cₖ: el umbral en la inspección k; el experimento se detiene cuando |zₖ| ≥ cₖ
θ: el efecto real añadido a cada lote, medido en desviaciones estándar del total de un lote

Supone: Los datos siguen una distribución normal con desviación estándar conocida, o son suficientemente numerosos como para aplicar la prueba z; las inspecciones están equiespaciadas; todas las pruebas son bilaterales, con cada inspección ingenua al 5 % y cada frontera al nivel más estricto que preserva la tasa global en el 5 %; y el tamaño muestral máximo está fijado de antemano y es idéntico para todas las reglas, de modo que las inspecciones se limitan a dividirlo.

Cada inspección aporta menos que la anterior, y diez bastan para convertir el 5 % en un 19 % 🖖

Pulsa Diez inspecciones. En estos experimentos no ocurre nada, y la primera inspección se porta como debe: detiene al 5,00 % de ellos, justo lo esperable de una sola prueba. La segunda inspección caza un 3,31 % adicional: experimentos que rozaron el límite en la primera y cruzaron la línea en la segunda. Cada inspección posterior añade un poco menos —apenas 0,81 puntos al llegar a la décima—, lo que crea la falsa ilusión de que mirar sale gratis; pero el acumulado tras diez inspecciones ya es del 19,34 %. La tabla muestra adónde conduce esto: de 4 a 100 inspecciones, cada vez que se duplica su número se suman entre 5,0 y 5,5 puntos, hasta alcanzar un 37,36 % con cien inspecciones. En ningún lugar de la página se pregunta el tamaño del lote, porque el resultado no depende de ello: diez inspecciones cuestan el mismo 19,34 % tanto si cada lote tiene diez pacientes como si tiene diez mil. Klim McPherson puso esta cifra ante los ojos de los médicos en el New England Journal of Medicine en 1974: diez inspecciones sin corregir convertían un 5 % nominal en casi un 20 %, cinco años después de que él mismo, Peter Armitage y B. C. Rowe tabularan esta inflación en el Journal of the Royal Statistical Society. El valor p en el momento de parar se calcula como si el ensayo se hubiera planeado para terminar justo ahí, cuando en realidad no fue así.

Pocock puede permitirse más de un quinto del 5 % en cada una de sus cinco inspecciones 🖖

Pulsa Pocock, cinco inspecciones. Un mismo umbral en cada inspección, elevado hasta que la tasa global sea exactamente del 5 %: |z| ≥ 2,413, correspondiente a un valor p inferior a 0,0158. Repartir el 5 % a partes iguales daría 0,01 por inspección —la corrección de Bonferroni de las <a href="/stat/multiple-comparisons">comparaciones múltiples</a>—, una exigencia excesiva para este caso. Las cinco pruebas comparten datos. Los datos de la cuarta inspección suponen cuatro quintas partes de los de la quinta; la correlación entre ambos estadísticos z es √(4/5) = 0,894, por lo que un experimento que cruza el umbral en la quinta casi siempre se quedó cerca en la cuarta. Sumar las cinco probabilidades, 5 × 0,0158 = 7,9 %, cuenta estos solapamientos más de una vez. La diferencia crece con el número de inspecciones: con 100 de ellas, Pocock permite p < 0,0040 en cada una, ocho veces 0,05/100. Stuart Pocock desarrolló el método en Biometrika en 1977 justo para el supuesto de esta página: grupos de pacientes de igual tamaño y una respuesta normal con varianza conocida. Pulsa ahora O'Brien–Fleming, cinco inspecciones. Su umbral desciende a medida que se acumulan los datos, C_B√(K/k): 4,562 en la primera inspección, donde p debe quedar por debajo de unos 0,000005, y 2,040 en la quinta. Las barras ilustran el efecto: cuatro quintas partes de ese 5 % se gastan en las dos últimas inspecciones.

Con un efecto real, O'Brien–Fleming conserva casi toda la potencia y Pocock pierde nueve puntos 🖖

Pulsa Pocock, efecto real. El efecto está calibrado para que una sola prueba con todos los datos lo detecte el 80 % de las veces. Repartidos en cinco inspecciones con la frontera de Pocock, esos mismos datos lo detectan el 70,89 % de las veces. A cambio, el experimento concluye antes: consume de media el 70,7 % de los datos. Pulsa O'Brien–Fleming, efecto real: 78,88 %, usando de media el 80,1 % de los datos. Su último umbral, 2,040, apenas resulta más estricto que 1,96, de modo que un experimento que llega al final se juzga casi como si fuera una prueba única. La tabla va más allá: con 100 inspecciones, O'Brien–Fleming todavía conserva el 77,85 % y Pocock se queda en el 60,65 %. Las dos columnas de cualquier p < 0,05 muestran por qué detenerse ante cualquier p < 0,05 parece tan atractivo a quien realiza el ensayo. Con cinco inspecciones detecta el efecto el 84,84 % de las veces —por encima de ambas fronteras—, pero solo porque también habría declarado un efecto el 14,17 % de las veces cuando no había absolutamente nada.

Problema resuelto al detalle

La cuarta inspección de diez 4 pasos
Una tienda en línea prueba una nueva pasarela de pago con 10.000 visitantes y comprueba el resultado cada 1.000. Con la frontera de O'Brien–Fleming, ¿cómo de pequeño debe ser el valor p en la cuarta inspección para que la prueba se detenga ahí? Pulsa primero Diez inspecciones, O'Brien–Fleming: la página indica el umbral de la primera y de la última inspección.

Abre este problema en la herramienta
1. Según la página, el umbral en la última inspección es C_B:
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. Todos los demás umbrales equivalen a C_B multiplicado por √(K/k). En la cuarta inspección de diez:
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. Como valor p bilateral, a partir de la distribución normal:
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. A modo de comparación, detenerse con cualquier p < 0,05 a lo largo de esas mismas diez inspecciones da, según la tabla:
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
Respuesta

p por debajo de 0,00097, cerca de uno de cada mil. Un resultado de p = 0,004 en la cuarta inspección, que pondría fin a una prueba ingenua con un titular llamativo, permite que la prueba de O'Brien–Fleming siga adelante. En la décima inspección el listón se sitúa en p < 0,0369, apenas más estricto que 0,05, y todo el procedimiento preserva la tasa de falsos positivos en el 5 %, frente al 19,34 % que se colaría parando al primer p < 0,05.

$p_{4} < 0.00097, p_{10} < 0.0369$

Ruta de aprendizaje

Lo que p < 0,05 no promete

Referencias (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

Por el equipo de 42Math · Contrastado con fuentes publicadas. Se agradecen correcciones.