Dies ist eine maschinelle Übersetzung; das englische Original ist die maßgebliche Fassung. Original lesen
Ein zu 99% genauer Test liegt meistens falsch
Zehntausend Menschen, ein Test, der 99% der Fälle erfasst, und 495 von ihnen erhalten eine beängstigende Nachricht, die sie nicht verdient haben.
Ein Test weist einen Zustand nach. Er erfasst 99% der Personen, die ihn haben, und liefert nur bei 5% der Personen, die ihn nicht haben, ein falsch-positives Ergebnis. Eine von hundert Personen hat den Zustand. Sie testen positiv.
Wie hoch ist die Wahrscheinlichkeit, dass Sie ihn haben?
Die intuitive Antwort liegt bei etwa 95%. Die richtige Antwort lautet 16,7%. Die meisten Personen mit einem positiven Testergebnis haben den Zustand gar nicht, und das ist kein Mangel des Tests – der Test tut genau das, was auf der Verpackung steht.
Die vier Multiplikationen
Nehmen wir 10.000 Personen.
- 100 Personen haben den Zustand. Der Test erfasst 99 von ihnen.
- 9.900 haben ihn nicht. Der Test stuft 5% von ihnen fälschlicherweise als positiv ein: 495 Personen.
Es testen also 594 Personen positiv, und 99 von ihnen sind tatsächlich krank. 99 ÷ 594 = 16,7%.
Die falsch-positiven Ergebnisse übertreffen die richtig-positiven im Verhältnis von sechs zu eins, und zwar aus einem Grund, der nichts mit der Qualität des Tests zu tun hat: es gibt schlichtweg weit mehr gesunde Menschen, bei denen man sich irren kann. Eine Fehlerrate von 5%, angewendet auf 9.900 Personen, erzeugt mehr Fehler, als eine Erfolgsquote von 99%, angewendet auf 100 Personen, Treffer erzeugt.
Ist der Zustand noch seltener, verschlechtert sich das Verhältnis rasch. Bei einer Prävalenz von eins zu tausend liefert derselbe Test einen positiven Vorhersagewert von 1,9%. Neunundvierzig von fünfzig positiven Befunden sind falsch.
Warum die Intuition versagt
Die Frage, die Menschen beantworten, ist nicht die Frage, die ihnen gestellt wurde. „Wie genau ist der Test?“ ist eine Aussage über P(positiv | krank) – wie wahrscheinlich ist ein positives Ergebnis, wenn man krank ist. Was man wissen möchte, ist P(krank | positiv) – wie wahrscheinlich ist es bei einem positiven Ergebnis, dass man krank ist. Dies sind unterschiedliche Zahlen, und das Vertauschen dieser beiden ist so weit verbreitet, dass es einen eigenen Namen hat: Prävalenzfehler, oder Trugschluss des Anklägers, wenn es vor Gericht geschieht.
Die Brücke zwischen beiden ist der Satz von Bayes, und die Größe, die die Intuition vernachlässigt, ist die Prävalenz – die Basisrate. Es ist die eine Zahl, mit der das Werbematerial für einen Test nie wirbt, weil sie gar keine Eigenschaft des Tests ist. Sie ist eine Eigenschaft der Population, auf die man ihn anwendet.
Derselbe Test ist in einem Umfeld hervorragend und in einem anderen nutzlos. Angewendet auf Patienten, die bereits Symptome zeigen und bei denen die Prävalenz 30% betragen könnte, liefert unser Test einen positiven Vorhersagewert von 89%. Als Massenscreening auf eine Population angewendet, in der die Prävalenz bei 0,1% liegt, liefert er 1,9%. Am Messinstrument selbst hat sich nichts geändert.
Wo dies Entscheidungen bestimmt
Medizinische Screening-Strategie. Dies ist genau der Grund, warum Screening-Programme auf Alters- und Risikogruppen ausgerichtet werden, anstatt allen angeboten zu werden, und warum „wir sollten einfach alle testen“ ein komplizierterer Vorschlag ist, als es klingt. Ein Screening auf eine Gruppe mit niedrigerer Prävalenz auszuweiten, verursacht nicht nur zusätzliche Kosten – es verändert die Bedeutung eines positiven Ergebnisses und erzeugt Angst, Folgeuntersuchungen und gelegentlich Schaden für Menschen, die nie krank waren.
Sicherheitswarnungen. Ein Intrusion-Detection-System mit einer Falsch-Positiv-Rate von 1%, das täglich eine Million Ereignisse überwacht, von denen nur eine Handvoll Angriffe sind, erzeugt zehntausend Warnungen – und führt zu einem Team, das aufhört, diese zu lesen. Alarmmüdigkeit ist der Prävalenzfehler, ausgedrückt als organisatorisches Versagen.
Gerichtssäle. „Die Wahrscheinlichkeit, dass diese DNA-Übereinstimmung zufällig auftritt, liegt bei eins zu einer Million“ bedeutet nicht, dass die Wahrscheinlichkeit für die Unschuld des Angeklagten bei eins zu einer Million liegt. Stammt die Übereinstimmung aus dem Durchsuchen einer Datenbank mit einer Million Profilen, wäre rein zufällig etwa eine Übereinstimmung zu erwarten. Die beiden Aussagen klingen identisch und unterscheiden sich doch in allem.
Astrobiologie. Dieselbe Struktur gilt für Aussagen über Leben auf anderen Planeten: Der Nachweis einer Biosignatur ist nur so aussagekräftig wie die A-priori-Wahrscheinlichkeit, dass dort Leben zu finden ist – und genau diese Größe kennt niemand. Das Werkzeug Biosignature Bayes macht diese Abhängigkeit explizit, anstatt sie zu verschleiern.
Die eine Gewohnheit, die sich lohnt
Wenn Ihnen gesagt wird, ein Test, ein Detektor oder ein Modell sei „zu 99% genau“, stellen Sie zwei Fragen.
Erstens: genau in welche Richtung? Sensitivität und Spezifität sind unterschiedliche Kennzahlen, und eine einzelne Angabe zur „Genauigkeit“ verbirgt gewöhnlich eine von beiden.
Zweitens, und noch wichtiger: Wie häufig ist das, was nachgewiesen werden soll? Lautet die Antwort „selten“, dann wird das meiste, was der Detektor anzeigt, falsch sein – und wie falsch, lässt sich auf der Rückseite eines Briefumschlags in etwa dreißig Sekunden überschlagen.
Das Bayes tool führt dieselbe Berechnung mit Schiebereglern durch. Das ist vor allem nützlich, um zu sehen, wie stark sich das Ergebnis verändert, wenn man die Prävalenz verschiebt, und wie wenig es sich bewegt, wenn man die Genauigkeit verändert.
Auch Fachleute liegen falsch
Im Jahr 1978 legten Casscells, Schoenberger und Grayboys eine Variante dieser Frage dem Personal und den Studierenden der Harvard Medical School vor: eine Krankheit, die eine von tausend Personen betrifft; ein Test mit einer Falsch-Positiv-Rate von 5%; ein Patient, der positiv getestet wird. Wie hoch ist die Wahrscheinlichkeit, dass der Patient die Krankheit hat?
Die häufigste Antwort lautete 95%. Die richtige Antwort liegt bei etwa 2%. Weniger als eine von fünf befragten Personen kam dem Ergebnis nahe – und das waren Menschen, die solche Tests beruflich anordnen.
Dieses Ergebnis wurde oft genug reproduziert, dass es weniger eine Anklage gegen Ärzte ist als vielmehr eine Beschreibung davon, wie der menschliche Verstand mit bedingter Wahrscheinlichkeit umgeht. Der Instinkt greift nach der Genauigkeit des Instruments, die auf der Verpackung steht, und greift nie nach der Prävalenz, die dort nicht steht.