Comparaciones múltiples

Veinte hipótesis contrastadas al 5 %. Ejecútalas una a una y observa dónde cae cada valor p; luego cambia el criterio que decide cuáles cuentan como hallazgos. Empieza con puro ruido y añade después algunos efectos reales.

Ejemplo resuelto — Comparaciones múltiples

Número medio de falsos hallazgos sin corrección	1,00
Nivel de Bonferroni para cada contraste	0,0025

Estos son los valores que muestra la calculadora al abrir la página. Cambia cualquier entrada de arriba para recalcularlos.

Cargando simulación interactiva...

Lección

La teoría — Comparaciones múltiples

Una familia de contrastes reúne todas las pruebas de hipótesis aplicadas a una misma pregunta o conjunto de datos, y su tasa de error por familia es la probabilidad de rechazar al menos una hipótesis nula cierta: 1 − (1 − α)^m₀ cuando se contrastan m₀ nulas verdaderas independientes, cada una a nivel α. Bonferroni contrasta cada una de las m hipótesis a nivel α/m. Holm ordena los valores p y contrasta el i-ésimo menor a nivel α/(m − i + 1), deteniéndose en el primero que no lo supera. Ambos métodos mantienen la tasa de error por familia en α o por debajo. Benjamini–Hochberg rechaza los k valores p más pequeños, donde k es el mayor i con p_(i) ≤ iα/m, y garantiza que la tasa de falsos descubrimientos (la proporción media de rechazos que son erróneos) se mantenga en (m₀/m)α o por debajo para contrastes independientes.

Qué significa cada símbolo

m: el número de contrastes en la familia
m₀: cuántos de ellos son nulas ciertas; m − m₀ son efectos reales
α: el nivel exigido a cada contraste por separado (aquí, el 5 %)
p₍ᵢ₎: el i-ésimo valor p más pequeño de la familia
δ: el tamaño de un efecto real, medido en errores estándar de su estadístico de contraste

Supone: Los contrastes son pruebas z bilaterales e independientes; el valor p de una nula cierta sigue una distribución uniforme entre 0 y 1; todos los efectos reales tienen la misma magnitud; y la familia, su tamaño y el criterio se fijan antes de observar los datos.

Catorce de puro ruido y el falso hallazgo es ya lo más probable 🖖

Pulsa Catorce de puro ruido. Cada contraste cumple su propia promesa: una nula cierta supera el 5 % una de cada veinte veces. La familia no ofrece esa garantía. La probabilidad de que ninguno de los catorce baje del 5 % es 0,95¹⁴; por tanto, la de que al menos uno lo haga alcanza el 51,23 %, y con veinte contrastes sube al 64,15 %. Con trece la cifra es del 48,67 %, lo que convierte a la de catorce en la primera familia donde toparse con un falso hallazgo es el desenlace más probable. Con veinte, la tabla de resultados sitúa la media de falsos hallazgos exactamente en 20 × 0,05 = 1, aunque en el 35,85 % de estas familias no aparezca ninguno. Randall Munroe lo retrató a la perfección en la tira 882 de xkcd, Significant: un equipo científico prueba veinte colores de gominolas contra el acné, el verde da un valor inferior a 0,05 y el periódico titula «¡Solo un 5 % de probabilidad de coincidencia!». Para el contraste del verde por separado, el 5 % es en efecto la frecuencia con la que pasaría una nula cierta. El titular olvidó mencionar los otros diecinueve.

Con puro ruido las tres correcciones coinciden; con efectos reales sus garantías divergen 🖖

Pulsa Veinte de puro ruido y observa la tabla. Bonferroni deja pasar un falso hallazgo en el 4,88 % de las familias; Holm, exactamente en el mismo 4,88 %; Benjamini–Hochberg, en el 5,00 %. Cuando todas las hipótesis son nulas ciertas, cualquier hallazgo es falso por definición, así que los tres criterios protegen lo mismo. Pulsa ahora Cinco efectos en veinte. Bonferroni y Holm siguen manteniendo por debajo del 5 % la probabilidad de cometer siquiera un falso hallazgo (en el 3,69 % y 4,13 %), pero pagan un precio: de media, cada uno detecta apenas unos dos de los cinco efectos reales. Benjamini–Hochberg deja pasar algún falso hallazgo en el 13,99 % de las familias y detecta 2,81. Lo que acota en su lugar es la proporción de hallazgos que resultan ser falsos: de media, como mucho (m₀/m) × 5 %, que aquí equivale a 15/20 × 5 % = 3,75 %. Yoav Benjamini y Yosef Hochberg demostraron esa cota para contrastes independientes en 1995, y el cálculo exacto de esta página coincide con ella. Desplaza el control de potencia del 20 % al 99 %: ese 3,75 % no se mueve, mientras que la probabilidad de colar al menos un falso hallazgo sube del 4,63 % al 19,84 %. Si un solo falso positivo resulta inadmisible, controla la probabilidad de cometer alguno. Si estás cribando multitud de candidatos para una segunda fase de confirmación —el ejemplo que proponían Benjamini y Hochberg con moléculas en el desarrollo de fármacos—, asumir una fracción pequeña y controlada de pistas falsas es el precio razonable para rescatar más efectos auténticos.

Benjamini–Hochberg se vuelve más generoso cuanto más hay por descubrir 🖖

El listón de Bonferroni es 0,05/m digan lo que digan los datos; con veinte contrastes y un 80 % de potencia, cada efecto real se detecta el 41,23 % de las veces, sea el único existente o uno entre quince. Benjamini–Hochberg exige i × 0,05/m al i-ésimo valor p más pequeño. Por eso, cada resultado contundente por delante de un contraste empuja a este un puesto más abajo en la lista ordenada, donde su umbral es mayor y más fácil de superar. Con un solo efecto real entre veinte, se detecta el 42,06 % de las veces, apenas mejor que Bonferroni; con cinco, el 56,24 % cada uno; con quince, el 72,68 %, mientras Holm apenas ha trepado del 41,25 % al 46,07 %. Pulsa Quince efectos en veinte y elige Ordenados por p para ver por qué. La escalera de Holm y la recta de Benjamini–Hochberg parten de 0,0025 para el valor p menor y terminan en 0,05 para el mayor. Sin embargo, Holm se queda pegado al suelo casi hasta el final: en el décimo puesto su listón es 0,05/11 = 0,0045, mientras que Benjamini–Hochberg ha alcanzado ya 10 × 0,0025 = 0,025. Los propios Benjamini y Hochberg lo destacaban en su artículo original: cuantas más hipótesis sean falsas, mayor es la ganancia potencial de potencia frente a un criterio que controle la probabilidad de cometer cualquier falso positivo. En cualquier familia los tres criterios están anidados, ya que 0,05/m ≤ 0,05/(m − i + 1) ≤ i × 0,05/m: Holm conserva todo lo que conserva Bonferroni, y Benjamini–Hochberg todo lo que conserva Holm.

Problema resuelto al detalle

El coste de Bonferroni en tamaño muestral 3 pasos
Un estudio prevé veinte comparaciones y las corregirá mediante Bonferroni. Cada una se diseñó para tener una potencia del 80 % al 5 %. ¿Cuánto debe aumentarse cada muestra para recuperar ese 80 % de potencia? Pulsa primero Cinco efectos en veinte: la tabla de resultados muestra el tamaño del efecto y su potencia bajo Bonferroni.

Abre este problema en la herramienta
1. Datos de la herramienta: una potencia del 80 % al 5 % exige un efecto de δ = 2,802 errores estándar; con el umbral de 0,0025 de Bonferroni, ese mismo efecto solo se detecta el 41,23 % de las veces:
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. Prescindiendo de la probabilidad de caer en la cola opuesta (inferior a 10⁻⁶ al 5 % y a 10⁻¹¹ con 0,0025), alcanzar una potencia del 80 % requiere δ = z + 0,8416, donde z es el valor crítico bilateral y Φ(0,8416) = 0,80. Al 5 %, esto da 1,960 + 0,842 = 2,802; con 0,0025, resulta 3,023 + 0,842 = 3,865:
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. El error estándar decrece como 1/√n, de modo que δ crece como √n y el tamaño muestral debe multiplicarse por el cuadrado de esa razón:
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
Respuesta

Aproximadamente 1,90 veces más observaciones en cada comparación, ya que (3,865/2,802)² = 1,903. Con 100 comparaciones, el umbral de Bonferroni pasa a 0,0005 y el factor sube a 2,38. Holm y Benjamini–Hochberg exigen aumentos menores, cuya magnitud exacta depende de cuántos efectos reales haya en juego; la tabla interactiva muestra cuántos detecta cada uno, algo que este cálculo aislado no puede anticipar.

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

Ruta de aprendizaje

Lo que p < 0,05 no promete

Referencias (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

Por el equipo de 42Math · Contrastado con fuentes publicadas. Se agradecen correcciones.