Interaktive Mathe- und Wissenschafts-Lektionen

← Statistik & Finanzen

Falsche Befunde

Jede Zelle steht für eine Hypothese, die das Fachgebiet prüft; ein Punkt bedeutet, dass sie zutrifft. Bestimme, wie viele wahr sind, wie teststark die Studien sind und wie viel Verzerrung sich einschleicht. Geh dann Schritt für Schritt durch, was im Fachgebiet geschieht: Studien durchführen, Verzerrung zulassen, signifikante Ergebnisse veröffentlichen und alle publizierten Studien wiederholen.

Interaktive Simulation wird geladen...

Lektion

Die Theorie — Falsche Befunde

Der positive Vorhersagewert (PPV) der Befunde eines Fachgebiets ist der Anteil seiner statistisch signifikanten Ergebnisse, die wahr sind. Ist ein Anteil π der geprüften Hypothesen wahr, besitzt jede Studie die Teststärke P beim Signifikanzniveau α und wird ein Anteil u der ergebnislosen Analysen dennoch als Befund berichtet, dann werden wahre Hypothesen mit der Wahrscheinlichkeit P + u(1 − P) und falsche mit der Wahrscheinlichkeit α + u(1 − α) zu Befunden, und es gilt PPV = π[P + u(1 − P)] / (π[P + u(1 − P)] + (1 − π)[α + u(1 − α)]). Das ist die Formel von John Ioannidis aus dem Jahr 2005, notiert mit π anstelle seiner Vorab-Chance R = π/(1 − π). Eine ehrliche Replikation bei gleicher Teststärke bestätigt einen Anteil von PPV·P + (1 − PPV)·α der Befunde.

Was die einzelnen Symbole bedeuten

π
der Anteil der geprüften Hypothesen eines Fachgebiets, die wahr sind
P
die Teststärke jeder Studie, 1 − β: die Wahrscheinlichkeit, einen echten Effekt zu finden
α
das Signifikanzniveau, 0,05: die Wahrscheinlichkeit, dass eine Studie bei einer falschen Hypothese p < 0,05 erreicht
u
Verzerrung: der Anteil ergebnisloser Analysen, die dennoch als Befund berichtet werden
PPV
der Anteil der Befunde des Fachgebiets, die wahr sind
Setzt voraus
Jede Studie desselben Fachgebiets hat dieselbe Teststärke; jede Hypothese wird vor der Veröffentlichung genau einmal geprüft; Verzerrung betrifft ausschließlich ergebnislose Studien; jeder Befund und nur Befunde werden publiziert; eine Replikation ist dieselbe Studie noch einmal durchgeführt, mit gleicher Teststärke und ohne Verzerrung. Ein Befund hat hier weder Effektstärke noch Richtung: Wie stark eine signifikante Studie ihren Effekt überschätzt, behandelt der Fluch des Gewinners auf der vorigen Sprosse.

Dasselbe p < 0,05 ist bei einer schwächeren Studie weniger wert 🖖

Klicke auf 80 % Teststärke. Jede zehnte Hypothese trifft zu und niemand biegt die Analyse zurecht; ein Befund bedeutet schlicht p < 0,05. Auf 1.000 Hypothesen berichtet das Fachgebiet 80 wahre und 45 falsche Befunde: 64,0 % der Veröffentlichungen treffen zu. Klicke nun auf 20 % Teststärke. Die falschen Befunde verharren bei 45. Sie stammen aus den 900 falschen Hypothesen bei α = 5 %, und die Teststärke ändert daran nichts. In dieser Ziehung sind es bei beiden Einstellungen dieselben 48 Zellen ohne Punkt, an exakt denselben Stellen. Die echten Befunde dagegen fallen auf 20, und der Anteil wahrer Treffer sinkt auf 30,8 %. Geringe Teststärke gilt meist als Verlust der Forschenden, denen echte Effekte entgehen. Doch auch wer liest, verliert: Ein signifikantes Ergebnis aus einer schwachen Studie hat zwar dieselbe Hürde genommen, ist aber trotzdem weniger wert – weil unter den Studien, die diese Hürde schaffen, ein geringerer Anteil echt ist. John Ioannidis brachte die Bedingung 2005 in einer einzigen Zeile auf den Punkt: Ein Befund ist eher wahr als falsch, wenn (1 − β)R > α gilt. Dabei ist 1 − β die Teststärke und R die Vorab-Chance, dass eine geprüfte Hypothese zutrifft. Bei einer von zehn ist R = 1/9, und die Teststärke muss über 45 % liegen.

Teststärke kann Verzerrung nicht wettmachen 🖖

Klicke auf 10 % Verzerrung. Die Studien testen so stark wie zuvor mit 80 % Teststärke. Doch eine von zehn Analysen, die eigentlich nichts fand, wird trotzdem als Befund ausgegeben: ein anderer Endpunkt, eine Untergruppe, ein weggelassener Ausreißer. Ioannidis nennt diesen Anteil u. Den wahren Hypothesen nützt das kaum, denn sie wurden meist ohnehin entdeckt (aus 80 % werden 82 %). Es trifft die falschen Hypothesen. Ehrliches Testen weist sie in 95 % der Fälle ab; 10 % von diesen 95 % sind 9,5 Prozentpunkte. Eine falsche Hypothese wird dadurch in 14,5 % der Fälle zum Befund – fast dreimal so oft wie zuvor. Der Anteil echter Befunde bricht von 64,0 % auf 38,6 % ein. Die Zeile darunter verrät, was das bedeutet: Ein ehrliches Fachgebiet erzielt dieselben 38,6 % bereits bei 28,3 % Teststärke. Zieh die Teststärke auf 99 %, und das verzerrte Feld kriecht mühsam auf 43,2 % hoch; die Zeile für 100 % Teststärke weist 43,4 % aus, mehr ist schlicht nicht erreichbar. Klicke nun auf Ehrlich, 35 % Teststärke: 43,8 %. Ein ehrliches Fachgebiet bei 35 % Teststärke publiziert Befunde, die genauso vertrauenswürdig sind wie die eines perfekt teststarken Feldes mit u = 10 %. Die Schwelle α/(α + u(1 − α)) = 34,5 % enthält überhaupt kein π: Verstelle den ersten Schieberegler, und der Wert rührt sich nicht von der Stelle.

Ein wahrer Befund kann bei der Replikation scheitern – und tut es oft 🖖

Klicke auf 80 % Teststärke, dann auf Neu starten und geh schrittweise bis zur letzten Stufe vor, in der alle publizierten Befunde ehrlich und mit derselben Teststärke wiederholt werden. Ein wahrer Befund bestätigt sich in 80 % der Fälle, ein falscher in 5 %; insgesamt replizieren also 53,0 % der veröffentlichten Befunde – in dieser Ziehung 69 von 129. Zähle die Kreuze auf den Punkten: 12 der 60 Fehlschläge waren wahre Hypothesen, der exakte Anteil beträgt 27,2 %. Niemand hat geschummelt, und an den Studien war nichts auszusetzen: Bei 80 % Teststärke geht jeder fünfte echte Effekt verloren, beim zweiten Mal genauso wie beim ersten. Eine Replikationsrate lässt sich daher keineswegs als der Anteil wahrer Hypothesen in einem Fachgebiet lesen. Sie kann niemals höher sein als die Teststärke der Replikationen, denn jeder wahre Befund kehrt mit dieser Rate wieder und jeder falsche mit α, was nie darüber liegt. Läuft die Replikation in einem Fachgebiet mit 50 % Teststärke, würde die Hälfte der Befunde durchfallen, selbst wenn ausnahmslos jeder einzelne wahr wäre. Klicke auf 10 % Verzerrung: Nun bestätigen dieselben ehrlichen Replikationen nur noch 33,9 %, weil noch mehr von dem, was sie wiederholen sollen, in Wahrheit nie existiert hat.

Aufgabe vollständig gelöst

  1. Was p = 0,04 der nächsten Studie verspricht 4 Schritte

    Eine Studie berichtet p = 0,04, zweiseitig. Angenommen, der wahre Effekt entspricht exakt dem gemessenen. Wie groß ist bei einer identischen Replikation mit gleichem Versuchsplan und gleichem Stichprobenumfang die Wahrscheinlichkeit, dass sie p < 0,05 in derselben Richtung erreicht? Stelle diese Teststärke dann auf der Seite ein (jede zehnte Hypothese wahr, keine Verzerrung) und lies ab, welcher Anteil der Befunde eines solchen Fachgebiets real ist und wie viele replizieren.

    Öffne diese Aufgabe im Tool

    1. Rechne den p-Wert zurück in den zugehörigen z-Wert. Der Test ist zweiseitig, auf jeden Rand entfallen also 0,02, und die Schwelle für p < 0,05 ist der Punkt mit 0,025 darüber:

    2. Entspricht der wahre Effekt dem beobachteten, ist der z-Wert der Replikation normalverteilt mit Mittelwert 2,054 und Standardabweichung 1. Die Replikation glückt, wenn er über 1,960 landet:

    3. Ein Wert unter −1,960 wäre in Gegenrichtung signifikant, also keine Replikation, und ist ohnehin verschwindend unwahrscheinlich:

    4. Klicke auf Feld mit p = 0,04: 54 % Teststärke (der Schieberegler bewegt sich in ganzen Prozentpunkten), jede zehnte Hypothese wahr, keine Verzerrung.

    Antwort

    53,7 %, kaum besser als ein Münzwurf; bei p = 0,05 ergeben exakt dieselben Rechenschritte glatte 50 %. Das ist noch der optimistische Fall: Der Fluch des Gewinners auf der vorigen Sprosse besagt, dass eine signifikante Studie ihren Effekt meist überschätzt, die wahre Teststärke der Replikation also noch geringer ausfällt. In einem Fachgebiet mit Studien bei 54 % Teststärke sind 54,5 % der Befunde real und 31,7 % replizieren. Soll eine identische Replikation unter derselben Annahme in vier von fünf Fällen gelingen, müsste die Originalstudie p = 0,005 liefern, was 80,2 % ergibt.

Lernpfad

Was p < 0,05 nicht verspricht

Quellen (1)
  • The page's model and formula: the positive predictive value of a claimed finding from power, the pre-study odds R and the bias u (Tables 1 and 2), the condition that a finding is more likely true than false when (1 − β)R > α, which the first insight quotes, the definition of u the second insight paraphrases, and Table 4, whose first row is the 'Ioannidis's trial' preset and all nine of whose rows check:compute reproduces: J. P. A. Ioannidis, "Why Most Published Research Findings Are False," PLoS Medicine 2(8): e124, 2005.

· Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen.