Multiples Testen

Zwanzig Hypothesen, jede einzeln getestet auf dem 5-%-Niveau. Führe die Tests nacheinander aus und beobachte, wo die p-Werte landen. Wechsle dann die Entscheidungsregel für signifikante Befunde. Starte im reinen Rauschen und schalte danach echte Effekte dazu.

Rechenbeispiel — Multiples Testen

Bonferronis Niveau für jeden Einzeltest	0,0025

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Lektion

Die Theorie — Multiples Testen

Eine Familie von Tests umfasst alle Hypothesentests zu einer gemeinsamen Fragestellung oder einem Datensatz. Ihre familienbezogene Fehlerrate ist die Wahrscheinlichkeit, mindestens eine wahre Nullhypothese abzulehnen: 1 − (1 − α)^m₀, wenn m₀ unabhängige wahre Nullhypothesen jeweils zum Niveau α getestet werden. Bonferroni prüft jede der m Hypothesen zum Niveau α/m. Holm sortiert die p-Werte und prüft den i-t-kleinsten bei α/(m − i + 1); das Verfahren bricht beim ersten Test ab, der die Schwelle verfehlt. Beide halten die familienbezogene Fehlerrate bei höchstens α. Benjamini–Hochberg verwirft die k kleinsten p-Werte (wobei k der größte Index i mit p_(i) ≤ iα/m ist) und hält die False Discovery Rate, den mittleren Anteil falscher Ablehnungen unter allen Befunden, bei unabhängigen Tests auf oder unter (m₀/m)α.

Was die einzelnen Symbole bedeuten

m: Anzahl der Tests in der Familie
m₀: Anzahl der wahren Nullhypothesen darunter; m − m₀ sind echte Effekte
α: Signifikanzniveau des unkorrigierten Einzeltests (hier 5 %)
p₍ᵢ₎: der i-t-kleinste p-Wert in der Familie
δ: Größe eines echten Effekts, gemessen in Standardfehlern der Teststatistik

Setzt voraus: Die Tests sind unabhängige zweiseitige z-Tests; der p-Wert einer wahren Nullhypothese ist zwischen 0 und 1 gleichverteilt; alle echten Effekte besitzen dieselbe Stärke; und die Testfamilie samt Umfang und Auswertungsregel wurde vor Erhebung der Daten festgelegt.

Vierzehn Tests ohne Effekt: Ein falscher Befund ist wahrscheinlicher als keiner 🖖

Klick auf Vierzehn Tests ohne Effekt. Jeder Einzeltest hält sein Versprechen: Eine wahre Nullhypothese unterschreitet 5 % in einem von zwanzig Fällen. Die Familie als Ganzes gibt dieses Versprechen nicht. Die Wahrscheinlichkeit, dass keiner der vierzehn Tests anschlägt, beträgt 0,95¹⁴; dass mindestens einer durchrutscht, liegt somit bei 51,23 %, und bei zwanzig Tests schon bei 64,15 %. Dreizehn Tests ergeben 48,67 %. Vierzehn ist damit die erste Familiengröße, bei der ein falscher Befund der wahrscheinlichere Ausgang ist. Bei zwanzig Tests weist die Tabelle im Mittel exakt 20 × 0,05 = 1 falschen Befund aus, obwohl 35,85 % dieser Familien überhaupt keinen Treffer liefern. Randall Munroe hat das im xkcd-Comic 882 (Significant) auf den Punkt gebracht: Forschende testen zwanzig Farben von Geleebohnen gegen Akne, grün landet unter 0,05, und die Zeitung titelt: "Zufallswahrscheinlichkeit nur 5 %!" Für den grünen Test allein ist 5 % die Rate, mit der eine wahre Nullhypothese fälschlich anschlägt. Die Schlagzeile verschwieg die anderen neunzehn.

Im reinen Rauschen stimmen die drei Korrekturen überein; bei echten Effekten halten sie unterschiedliche Versprechen 🖖

Klick auf Zwanzig Tests ohne Effekt und lies die Tabelle ab. Bonferroni lässt in 4,88 % der Familien einen falschen Befund zu, Holm bei denselben 4,88 %, Benjamini–Hochberg bei 5,00 %. Wenn jede Hypothese eine wahre Nullhypothese ist, ist jeder Befund falsch. Alle drei Verfahren schützen hier vor genau demselben Ereignis. Klick nun auf Fünf echte von zwanzig. Bonferroni und Holm halten das Risiko für auch nur einen einzigen Fehlalarm weiter unter 5 % (bei 3,69 % und 4,13 %) — und zahlen dafür: Beide finden im Schnitt nur etwa zwei der fünf echten Effekte. Benjamini–Hochberg lässt in 13,99 % der Familien einen Fehlalarm zu, entdeckt dafür aber 2,81 Effekte. Das Verfahren kontrolliert stattdessen den Anteil falscher Entdeckungen unter allen gemeldeten Befunden: im Mittel höchstens (m₀/m) × 5 %, hier also 15/20 × 5 % = 3,75 %. Yoav Benjamini und Yosef Hochberg haben diese Schranke 1995 für unabhängige Tests bewiesen; die exakte Rechnung der Seite landet punktgenau darauf. Zieh den Power-Schieberegler von 20 % auf 99 %: Die 3,75 % bleiben starr stehen, während das Risiko für mindestens einen Fehlalarm von 4,63 % auf 19,84 % klettert. Ist jede einzelne Falschmeldung fatal, musst du das Gesamtrisiko kontrollieren. Suchst du dagegen wie in Benjamini und Hochbergs Beispiel aus der Wirkstoffforschung viele Kandidaten für eine zweite, bestätigende Runde vor, ist ein kalkulierter Anteil falscher Spuren ein vernünftiger Preis, um deutlich mehr echte Treffer mitzunehmen.

Benjamini–Hochberg wird umso großzügiger, je mehr es zu entdecken gibt 🖖

Bonferronis Schwelle liegt starr bei 0,05/m, völlig ungeachtet der Daten. Bei zwanzig Tests und 80 % Power wird ein echter Effekt daher nur in 41,23 % der Fälle entdeckt — ganz gleich, ob er der einzige ist oder einer von fünfzehn. Benjamini–Hochberg vergleicht den i-t-kleinsten p-Wert mit i × 0,05/m. Jedes starke Ergebnis vor einem Test schiebt ihn in der Rangfolge weiter nach hinten, wo die Schwelle höher liegt und leichter zu nehmen ist. Bei einem einzigen echten Effekt unter zwanzig wird dieser zu 42,06 % entdeckt, kaum besser als bei Bonferroni. Bei fünf echten Effekten sind es schon je 56,24 %; bei fünfzehn klettert die Rate auf 72,68 %, während Holm lediglich von 41,25 % auf 46,07 % zulegt. Klick auf Fünfzehn echte von zwanzig und wähle Nach p sortiert, um den Grund zu sehen. Holms Treppenfunktion und die Benjamini–Hochberg-Gerade beginnen beide bei 0,0025 für den kleinsten p-Wert und enden beide bei 0,05 für den größten. Doch Holms Schwelle klebt bis zu den letzten Rängen am Boden — beim zehnten Wert liegt sie erst bei 0,05/11 = 0,0045, während Benjamini–Hochberg dort schon 10 × 0,0025 = 0,025 erreicht. Diesen Punkt hoben Benjamini und Hochberg schon in ihrer Originalarbeit hervor: Je mehr Nullhypothesen falsch sind, desto größer ist der Power-Gewinn gegenüber Verfahren, die jeden einzelnen Fehlalarm abwehren wollen. Auf jeder Familie sind die drei Verfahren ineinander verschachtelt, denn es gilt 0,05/m ≤ 0,05/(m − i + 1) ≤ i × 0,05/m: Holm behält jeden Befund, den Bonferroni anerkennt, und Benjamini–Hochberg jeden, den Holm behält.

Aufgabe vollständig gelöst

Was Bonferroni an Stichprobengröße kostet 3 Schritte
Eine Studie plant zwanzig Vergleiche und korrigiert diese mit Bonferroni. Jeder Einzelvergleich war auf 80 % Power bei 5 % ausgelegt. Um wie viel größer muss jede Stichprobe werden, um wieder auf 80 % Power zu kommen? Klick zuerst auf Fünf echte von zwanzig: Die Ergebnistabelle nennt die Effektstärke und deren Power unter Bonferroni.

Öffne diese Aufgabe im Tool
1. Aus der Simulation: 80 % Power bei 5 % entspricht einem Effekt von δ = 2,802 Standardfehlern. Bei Bonferronis Niveau von 0,0025 wird derselbe Effekt nur noch in 41,23 % der Fälle entdeckt:
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. Vernachlässigt man die Wahrscheinlichkeit für ein Ausreißen in die Gegenrichtung (unter 10⁻⁶ bei 5 % und unter 10⁻¹¹ bei 0,0025), verlangt eine Power von 80 % den Wert δ = z + 0,8416, wobei z der zweiseitige kritische Wert ist und Φ(0,8416) = 0,80 gilt. Bei 5 % ergibt das 1,960 + 0,842 = 2,802, bei 0,0025 hingegen 3,023 + 0,842 = 3,865:
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. Der Standardfehler schrumpft mit 1/√n, also wächst δ proportional zu √n. Der Stichprobenumfang muss daher um das Quadrat dieses Verhältnisses anwachsen:
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
Antwort

Etwa 1,90-mal so viele Beobachtungen in jedem Vergleich, da (3,865/2,802)² = 1,903 ist. Bei 100 Vergleichen läge Bonferronis Schwelle bei 0,0005 und der Faktor bei 2,38. Holm und Benjamini–Hochberg kommen mit weniger aus — um wie viel weniger, hängt davon ab, wie viele Effekte tatsächlich existieren. Die Tabelle auf der Seite zeigt, was die Verfahren finden; diese Rechnung kann das nicht.

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

Lernpfad

Was p < 0,05 nicht verspricht

Quellen (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

Vom 42Math-Team · Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen.