Optionales Stoppen

Diese Experimente starten ohne jeden Effekt. Klick auf Nächstes Paket und beobachte den z-Wert nach jedem Datenpaket: Sobald er die Schwelle schneidet, stoppt das Experiment und meldet p < 0,05. Lass danach die übrigen 999 laufen.

Rechenbeispiel — Optionales Stoppen

Schwelle bei Blick 1	1,960
Blick 1 stoppt bei p unter	0,0500
Schwelle bei Blick K	1,960
Blick K stoppt bei p unter	0,0500
Falsch-positiv-Rate ohne Effekt, exakt	19,34%

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Lektion

Die Theorie — Optionales Stoppen

Von optionalem Stoppen spricht man, wenn das Ende eines Experiments anhand der Zwischenergebnisse entschieden wird: Man testet nach jedem Datenpaket und bricht ab, sobald das Ergebnis signifikant ist. Gilt bei jedem der K Blicke die feste Einzelschwelle |z_k| ≥ 1,96, liegt das Risiko für einen falsch-positiven Befund bei P(|z_k| ≥ 1,96 für mindestens ein k ≤ K) – und das übersteigt 5 % für jedes K ≥ 2. Eine gruppensequentielle Entscheidungsgrenze wählt Schwellenwerte c₁, …, c_K so, dass diese Wahrscheinlichkeit exakt 5 % beträgt: Pocock nutzt eine feste Konstante, O’Brien und Fleming verwenden C_B√(K/k).

Was die einzelnen Symbole bedeuten

K: die Anzahl der Blicke, gleichmäßig über die Daten verteilt
zₖ: die z-Prüfgröße aller Daten bis Blick k
cₖ: der Schwellenwert bei Blick k; das Experiment stoppt, sobald |zₖ| ≥ cₖ
θ: der echte Effekt, der jedem Paket hinzugefügt wird, gemessen in Standardabweichungen der Summe eines Pakets

Setzt voraus: Die Daten sind normalverteilt mit bekannter Standardabweichung oder umfangreich genug für einen z-Test; die Blicke erfolgen in gleichen Abständen; alle Tests sind zweiseitig (jeder naive Blick auf dem 5-%-Niveau, jede Entscheidungsgrenze auf dem entsprechend strengeren Niveau, das die Gesamtrate bei 5 % hält); und der maximale Stichprobenumfang steht vorab fest und ist für jede Regel identisch, sodass die Blicke ihn lediglich unterteilen.

Jeder Blick bringt weniger als der vorige – und zehn machen aus 5 % fast 19 % 🖖

Klick auf Zehn Blicke. In diesen Experimenten steckt keinerlei Effekt, und der erste Blick verhält sich unauffällig: Er stoppt 5,00 % der Versuche, genau wie es ein einzelner Test tun sollte. Der zweite Blick fängt weitere 3,31 % ein: lauter Fälle, die beim ersten Durchgang knapp scheiterten und beim zweiten die Schwelle überschritten. Jeder spätere Blick steuert weniger bei, beim zehnten sind es nur noch 0,81 Punkte. Das verleitet zu der Annahme, jeder weitere Blick sei praktisch kostenlos. Zusammengenommen landet man nach zehn Blicken jedoch bei 19,34 %. Die Tabelle zeigt, wohin das führt: Von 4 auf 100 Blicke bringt jede Verdopplung zwischen 5,0 und 5,5 Punkte, sodass hundert Blicke schließlich 37,36 % erreichen. Nirgendwo auf dieser Seite wird nach der Paketgröße gefragt, denn das Resultat hängt nicht davon ab: Zehn Blicke kosten dieselben 19,34 %, egal ob ein Paket aus zehn oder zehntausend Patienten besteht. Klim McPherson führte Medizinern diese Zahl 1974 im New England Journal of Medicine vor Augen: Zehn unkorrigierte Blicke machen aus nominalen 5 % fast 20 %. Fünf Jahre zuvor hatten er, Peter Armitage und B. C. Rowe diese Aufblähung bereits im Journal of the Royal Statistical Society tabelliert. Der p-Wert im Moment des Abbruchs wird so berechnet, als sei das Experiment von Beginn an genau für diesen Endpunkt geplant gewesen – was keineswegs der Fall war.

Pocock darf bei fünf Blicken mehr erlauben als jeweils ein Fünftel von 5 % 🖖

Klick auf Pocock, 5 Blicke. Eine einheitliche Schwelle für jeden Blick, so weit angehoben, bis die Gesamtrate exakt 5 % beträgt: |z| ≥ 2,413, was einem p-Wert unter 0,0158 entspricht. Würde man die 5 % gleichmäßig aufteilen, bliebe ein Niveau von 0,01 pro Blick – die Bonferroni-Korrektur aus dem Bereich des <a href="/stat/multiple-comparisons">multiplen Testens</a>. Das wäre hier jedoch unnötig streng, denn die fünf Tests teilen sich ihre Daten. Die Stichprobe des vierten Blicks macht bereits vier Fünftel des fünften aus; die Korrelation der beiden z-Werte beträgt √(4/5) = 0,894. Ein Experiment, das beim fünften Blick anschlägt, war der Schwelle beim vierten meist schon sehr nahe. Addiert man die fünf Einzelwahrscheinlichkeiten einfach auf (5 × 0,0158 = 7,9 %), zählt man diese Überschneidungen mehrfach. Dieser Spielraum wächst mit der Zahl der Blicke: Bei 100 Zwischenanalysen erlaubt Pocock bei jeder einzelnen p < 0,0040, also das Achtfache von 0,05/100. Stuart Pocock entwickelte das Verfahren 1977 in Biometrika für exakt die Bedingungen dieser Seite: gleich große Patientengruppen und eine normalverteilte Zielgröße mit bekannter Varianz. Klick jetzt auf O’Brien–Fleming, 5 Blicke. Ihre Schwelle sinkt mit wachsender Datenmenge gemäß C_B√(K/k): von 4,562 beim ersten Blick, wo p unter rund 0,000005 liegen muss, auf 2,040 beim fünften. Die Balken zeigen das Resultat: Vier Fünftel ihrer 5 % verbraucht sie erst bei den letzten beiden Blicken.

Liegt ein echter Effekt vor, behält O’Brien–Fleming fast die volle Teststärke, während Pocock neun Punkte verliert 🖖

Klick auf Pocock, echter Effekt. Der Effekt ist so bemessen, dass ein abschließender Einzeltest über alle Daten ihn in 80 % der Fälle aufdecken würde. Verteilt auf fünf Blicke mit Pocock-Grenze erkennen dieselben Daten ihn nur noch zu 70,89 %. Im Gegenzug stoppt der Versuch oft vorzeitig: Im Schnitt verbraucht er nur 70,7 % der Daten. Klick auf O’Brien–Fleming, Effekt: 78,88 % Entdeckungschance bei durchschnittlich 80,1 % der Daten. Ihre letzte Schwelle liegt bei 2,040 und ist kaum strenger als 1,96; ein Experiment bis zum Schluss wird also fast wie ein klassischer Einzeltest gewertet. Die Tabelle setzt das fort: Bei 100 Blicken hält O’Brien–Fleming noch 77,85 %, Pocock nur 60,65 %. Die beiden Spalten zum naiven Abbruch bei p < 0,05 zeigen, warum diese Praxis so verlockend wirkt: Sie erkennt den Effekt bei fünf Blicken in 84,84 % der Fälle – mehr als jede der beiden Grenzen –, allerdings nur deshalb, weil sie in 14,17 % der Fälle auch dann angeschlagen hätte, wenn überhaupt kein Effekt existiert.

Aufgabe vollständig gelöst

Der vierte von zehn Blicken 4 Schritte
Ein Online-Shop testet eine neue Bestellseite an 10.000 Besuchern und wertet die Daten nach jeweils 1.000 Besuchern aus. Wie klein muss der p-Wert beim vierten Blick unter der O’Brien–Fleming-Grenze sein, damit der Test dort stoppt? Klick zuerst auf 10 Blicke, O’Brien–Fleming: Die Seite zeigt den Schwellenwert beim ersten und beim letzten Blick.

Öffne diese Aufgabe im Tool
1. Laut Anzeige liegt die Schwelle beim letzten Blick bei C_B:
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. Jede andere Schwelle ist C_B, skaliert mit √(K/k). Beim vierten von zehn Blicken:
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. Als zweiseitiger p-Wert aus der Normalverteilung:
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. Zum Vergleich der Abbruch bei beliebigem p < 0,05 über dieselben zehn Blicke laut Tabelle:
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
Antwort

p unter 0,00097, also etwa eins zu tausend. Ein Ergebnis von p = 0,004 beim vierten Blick, das einen naiven Test sofort mit einer Schlagzeile beenden würde, lässt die Studie nach O’Brien–Fleming weiterlaufen. Beim zehnten Blick liegt die Hürde bei p < 0,0369 – nur wenig strenger als 0,05 –, und das gesamte Verfahren begrenzt die Falsch-positiv-Rate verlässlich auf 5 %, während der naive Abbruch beim ersten p < 0,05 ganze 19,34 % durchlässt.

$p_{4} < 0.00097, p_{10} < 0.0369$

Lernpfad

Was p < 0,05 nicht verspricht

Quellen (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

Vom 42Math-Team · Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen.