Dies ist eine maschinelle Übersetzung; das englische Original ist maßgebend. Original lesen
Führen Sie zwanzig Tests an rein gar nichts durch, und einer davon wird signifikant sein
Ein Test mit echten Daten ergibt p = 0,0002982. Zwanzig Tests an reinem Rauschen liefern eine Schlagzeile.
Öffnen Sie das t-test tool mit den Standardeinstellungen: eine Stichprobe von 30 mit einem Mittelwert von 78 gegenüber einem Hypothesenwert von 72, Standardabweichung 8. Es weist t = 4,1079 bei 29 Freiheitsgraden aus und p = 0,0002982. Das entspricht einer Chance von drei zu zehntausend, eine so große Differenz zu beobachten, wenn überhaupt kein tatsächlicher Unterschied vorläge. Lehnen Sie die Nullhypothese ab und seien Sie sich dabei recht sicher.
Setzen Sie nun α = 0,05 und überlegen Sie, was dieser Schwellenwert tatsächlich verspricht.
Das Versprechen gilt pro Test
α = 0,05 besagt: Wenn die Nullhypothese wahr ist, wird dieser Test sie in 5 % der Fälle fälschlicherweise verwerfen.
Führen Sie zwanzig unabhängige Tests mit Daten ohne jeglichen Effekt durch. Jeder einzelne verhält sich unauffällig. Jeder hat eine Wahrscheinlichkeit von 95 %, korrekterweise nichts zu finden. Aber die Wahrscheinlichkeit, dass alle zwanzig unauffällig bleiben, beträgt
0,9520 = 0,358
sodass die Wahrscheinlichkeit, dass mindestens einer von ihnen anschlägt, bei 64,2 % liegt. Kein Risiko — das zu erwartende Ergebnis. Zwanzig Tests an reinem Rauschen liefern in den meisten Fällen ein signifikantes Ergebnis, und dieses signifikante Ergebnis wird einen p-Wert unter 0,05 aufweisen, ein Konfidenzintervall, das die Null ausschließt, sowie jedes andere Merkmal eines echten Befunds, weil es von einem solchen nicht zu unterscheiden ist.
Denken Sie es weiter: Bei vierzig Tests liegt die Wahrscheinlichkeit bei 87 %, bei hundert bei 99,4 %. Wer genügend Vergleiche anstellt, dem ist eine Entdeckung garantiert — und die Entdeckung ist die Arithmetik.
Die arithmetische Korrektur und warum sie nicht ausreicht
Die Korrektur ist so einfach wie das Problem. Wenn Sie m Tests durchführen und die Wahrscheinlichkeit für ein Falsch-Positiv-Ergebnis bei 5 % halten wollen, testen Sie jeden einzelnen stattdessen bei α/m. Das ist Bonferroni: Verlangen Sie bei zwanzig Tests p < 0,0025 statt p < 0,05.
Geben Sie 0,0025 in das α-Feld des t-test tool ein und beobachten Sie, was mit dem kritischen Wert passiert — die Hürde für „signifikant“ verschiebt sich nach außen, und Ergebnisse, die die alte Linie mühelos überschritten haben, tun dies nun nicht mehr. Das ist der Preis, und er ist real: Ein strengerer Schwellenwert bedeutet, dass echte Effekte übersehen werden. Es gibt schonendere Korrekturen, die die beiden Fehlerarten unterschiedlich abwägen, aber jede davon kostet Teststärke, denn geschenkt bekommt man hier nichts.
Das tiefere Problem liegt darin, dass die Korrektur m benötigt, und m ist gewöhnlich unbekannt. Es ist nicht die Anzahl der Tests in der Veröffentlichung — es ist die Anzahl der Tests, die durchgeführt wurden. Jede Subgruppe, die es nicht in das Manuskript geschafft hat, jede Zielgröße, die ausprobiert und verworfen wurde, jede Entscheidung darüber, welche Ausreißer ausgeschlossen werden, ist ein Vergleich. Eine Studie, die über einen einzigen Test berichtet, hat möglicherweise fünfzig Entscheidungen getroffen, und der Leser hat keine Möglichkeit, sie zu zählen.
Darauf wies Ioannidis 2005 mit dem bewusst unverblümten Titel Why Most Published Research Findings Are False hin. Sein Argument lautet nicht, dass Forschende betrügen. Es besagt vielmehr: Wenn viele Gruppen viele Hypothesen testen, von denen die meisten von vornherein falsch sind, werden die auftauchenden signifikanten Befunde von den falschen dominiert — und kein einzelner Test auf diesem Haufen macht irgendetwas falsch.
Worauf man stattdessen achten sollte
Drei Gewohnheiten, die diesem Problem standhalten und die Ihnen die Werkzeuge auf dieser Seite zeigen können.
Achten Sie auf die Größe, nicht auf das Urteil. Ein p-Wert beantwortet die Frage „Könnte das Rauschen sein?“ und sonst nichts. Er sagt nichts darüber aus, wie groß der Effekt ist oder ob er von Bedeutung ist. Das Tool für confidence interval existiert, weil ein Intervall beides liefert: wo der Effekt wahrscheinlich liegt und wie präzise man ihn kennt. Ein signifikantes Ergebnis mit einem Intervall, das von „trivial“ bis „riesig“ reicht, hat Ihnen fast nichts verraten, und sein p-Wert verbirgt genau das.
Fragen Sie, wo der Unterschied liegt. Ein Chi-Quadrat-Test, der signifikant ausfällt, sagt Ihnen, dass eine Tabelle nicht passt — nicht aber, welcher Teil nicht stimmt. Das residuals tool verdeutlicht denselben Punkt auf struktureller Ebene: Die Gesamtstatistik ist eine Zusammenfassung, und die Zellen sind der Ort, an dem die Information steckt. Ein Befund, den Sie nicht lokalisieren können, ist meist ein Befund, den Sie nicht replizieren können.
Zählen Sie die Vergleiche, bevor Sie hinschauen. Vorab festzulegen, was Sie testen und wie viele Dinge Sie untersuchen werden, bevor Sie die Daten sehen, ist die einzige Vorgehensweise, die funktioniert — denn sobald die Daten vorliegen, ist jeder Schwellenwert verhandelbar, und diese Verhandlung bleibt unsichtbar. Präregistrierung ist der einzige Weg, m zu einer bekannten Zahl zu machen.
Der Wert 0,0002982, den das Werkzeug oben ausgegeben hat, ist ein tatsächlich kleiner p-Wert. Er ist jedoch nur eine einzelne Zahl aus einem einzelnen Test, und seine Bedeutung hängt vollkommen von etwas ab, das die Zahl selbst nicht verraten kann: wie viele andere Tests Sie durchgeführt haben, um ihn zu erhalten.