Der Fluch des Gewinners

Klick auf Eine kleine Studie. Der wahre Effekt beträgt 0,20 Standardabweichungen bei 50 Personen pro Gruppe. Der Standardfehler der Schätzung liegt damit bei 0,20, und eine Studie erreicht p < 0,05 nur dann, wenn ihr Schätzwert mehr als 0,392 von der Null abweicht. Nichts darunter wird je signifikant; nichts darunter wird jemals zum publizierten Befund. Lediglich 17,0 % der Studien schaffen diese Hürde. Diejenigen, die es schaffen, landen im Schnitt bei 0,498, dem 2,49-Fachen jenes Effekts, der ihnen zugrunde liegt. Sieh dir die farbigen Punkte an: Kein einziger liegt zwischen den gestrichelten Schwellen, der wahre Effekt dagegen schon. Das passiert immer, wenn der wahre Effekt unter der Hürde liegt; und er liegt immer dann darunter, wenn die Power höchstens 50 % beträgt. Klick auf Power bei 50 %: Mit 192 Personen pro Gruppe sinkt die Schwelle auf 0,200, genau auf die Höhe der Wahrheit. Trotzdem überschätzt weiterhin jede signifikante Schätzung den Effekt. Erst jenseits dieser Marke kann ein signifikanter Wert auch zu klein ausfallen. Doch selbst bei beliebig großen Stichproben schießt mindestens die Hälfte darüber hinaus. Der Grund ist einfach: Werte nahe null, die den Schnitt senken würden, schaffen es nie zur Signifikanz. Bei 80 % Power mit 400 Personen pro Gruppe sind es immer noch 61,9 %.

Klick auf Eine kleine Studie und danach auf Ein Effekt von 0,05. Der wahre Effekt schrumpft auf ein Viertel seines ursprünglichen Werts, doch der durchschnittliche signifikante Schätzwert bewegt sich kaum: erst 0,498, dann 0,471. Bei 50 Personen pro Gruppe liefert jeder wahre Effekt zwischen null und der Schwelle signifikante Schätzungen, die im Mittel zwischen 0,468 und 0,552 liegen. In Standardfehlern ausgedrückt entspricht das dem Bereich von 2,34 bis 2,76. Dieser Bereich bleibt für jedes Versuchsdesign mit höchstens 50 % Power praktisch derselbe, sodass die Größe eines signifikanten Ergebnisses in einer solchen Studie vor allem verrät, wie groß ihr Standardfehler war. Von innen heraus kann die Studie das nicht erkennen. Setzt man 0,498 als angebliche Wahrheit in die Power-Formel ein, scheint dieses Design mit seinen realen 17,0 % Power plötzlich auf 70,2 % zu kommen; macht man dasselbe mit 0,471, klettert das Design von 5,7 % scheinbar auf 65,4 %. Genau diesen Zirkelschluss beschreiben Andrew Gelman und John Carlin in ihrer Arbeit von 2014: Jede signifikante Schätzung aus einer kleinen Studie ist zwangsläufig groß, und eine darauf gestützte Power-Analyse lässt die Studie im Nachhinein solide wirken. Ihr Ausweg besteht darin, die Effektstärke von außen heranzuziehen: aus der bestehenden Fachliteratur oder aus dem, was physikalisch plausibel ist. Genau das tun wir in der Beispielaufgabe weiter unten.

Klick auf Ein Effekt von 0,05. Die Power liegt bei 5,7 %, kaum mehr als die 5 %, die sich bei einem wahren Effekt von exakt null ergäben. Von den Studien, die Signifikanz erreichen, finden 23,7 % einen Effekt in der verkehrten Richtung. Jede einzelne lieferte ein 95-%-Konfidenzintervall, das die Null ausschloss – allerdings auf der falschen Seite. Gelman und Carlin nennen dies einen Typ-S-Fehler (Sign / Vorzeichen) und die Überschätzung einen Typ-M-Fehler (Magnitude / Ausmaß); hier sind die signifikanten Schätzwerte im Schnitt 9,42-mal so groß wie der wahre Effekt. Ihr Paradebeispiel ist Satoshi Kanazawas Veröffentlichung von 2007, wonach attraktive Eltern häufiger Töchter bekommen: ein Unterschied von 8 Prozentpunkten bei p = 0,015, was einem Standardfehler von 3,3 entspricht. Die Fachliteratur zum Geschlechterverhältnis legt jedoch nahe, dass ein realer Unterschied weit unter einem Punkt liegt. Betrüge er 0,3, so ihre Rechnung, trüge ein signifikantes Ergebnis mit rund 40 % Wahrscheinlichkeit das falsche Vorzeichen und würde den Effekt um das 25-Fache übertreiben. Das Vorzeichen verdreht man deutlich schwerer als die Größenordnung: In diesem Modell bleibt die Quote verkehrter Vorzeichen unter 1 %, solange die Power nicht unter 16,5 % sinkt. Die Überschätzung liegt bei dieser Power allerdings schon beim 2,5-Fachen. Die nächste Stufe, Falsche Befunde, stellt die Frage, die hier noch offenbleibt: Wie viele aller signifikanten Ergebnisse eines Fachgebiets sind überhaupt real?