Dies ist eine maschinelle Übersetzung; die englische Fassung ist das Original. Original lesen
Ein zu 99% genauer Test liegt meistens falsch
Zehntausend Menschen, ein Test, der 99% der Fälle erkennt, und 495 von ihnen erhalten eine beängstigende Nachricht, die sie nicht verdient haben.
Ein Test weist eine Erkrankung nach. Er erkennt 99% der Personen, die sie haben, und liefert nur bei 5% der Personen, die sie nicht haben, ein falsch-positives Ergebnis. Eine von hundert Personen hat die Erkrankung. Ihr Testergebnis ist positiv.
Wie hoch ist die Wahrscheinlichkeit, dass Sie die Erkrankung haben?
Die intuitive Antwort liegt bei rund 95%. Die richtige Antwort lautet 16,7%. Die meisten Personen mit positivem Testergebnis haben die Erkrankung nicht, und das ist kein Fehler des Tests: Der Test tut genau das, was auf der Packung steht.
Die vier Multiplikationen
Nehmen wir 10.000 Menschen.
- 100 haben die Erkrankung. Der Test erkennt 99 von ihnen.
- 9.900 haben sie nicht. Der Test schlägt bei 5% von ihnen fälschlicherweise an: 495 Personen.
Insgesamt werden also 594 Personen positiv getestet, und 99 von ihnen sind tatsächlich krank. 99 ÷ 594 = 16,7%.
Die falsch-positiven Ergebnisse übertreffen die richtig-positiven im Verhältnis fünf zu eins – und zwar aus einem Grund, der nichts mit der Qualität des Tests zu tun hat: Es gibt einfach viel mehr gesunde Menschen, bei denen man sich irren kann. Eine Fehlerrate von 5%, angewendet auf 9.900 Personen, erzeugt mehr Fehler, als eine Erfolgsquote von 99%, angewendet auf 100 Personen, an Treffern hervorbringt.
Macht man die Erkrankung noch seltener, verschlechtert sich das Verhältnis rasch. Bei einer Prävalenz von eins zu tausend liefert derselbe Test einen positiven Vorhersagewert von 1,9%. Neunundvierzig von fünfzig positiven Ergebnissen sind falsch.
Warum die Intuition versagt
Die Frage, die beantwortet wird, ist nicht die Frage, die gestellt wurde. „Wie genau ist der Test?“ ist eine Aussage über P(positiv | krank): Wie wahrscheinlich ist ein positives Ergebnis unter der Bedingung, dass man krank ist. Was man wissen möchte, ist P(krank | positiv): Wie wahrscheinlich ist es unter der Bedingung eines positiven Ergebnisses, dass man krank ist. Diese beiden Zahlen sind unterschiedlich, und sie zu vertauschen kommt so häufig vor, dass es dafür einen Namen gibt: der Prävalenzfehler – oder der Trugschluss des Anklägers, wenn es im Gerichtssaal geschieht.
Die Brücke zwischen ihnen ist der Satz von Bayes, und die Größe, die die Intuition auslässt, ist die Prävalenz – die Basisrate. Es ist die eine Zahl, mit der das Werbematerial für einen Test nie wirbt, weil sie gar keine Eigenschaft des Tests ist. Sie ist eine Eigenschaft der Population, auf die man ihn anwendet.
Derselbe Test ist in einem Umfeld hervorragend und in einem anderen nutzlos. Angewendet auf Patienten, die bereits Symptome zeigen und bei denen die Prävalenz vielleicht bei 30% liegt, liefert unser Test einen positiven Vorhersagewert von 89%. Als Massenscreening auf eine Bevölkerung angewendet, in der die Prävalenz 0,1% beträgt, liefert er 1,9%. Am Instrument hat sich nichts geändert.
Wo dies entscheidend ist
Medizinische Screening-Strategie. Genau aus diesem Grund werden Screening-Programme gezielt nach Alter und Risikogruppe ausgerichtet, anstatt sie jedem anzubieten, und genau deshalb ist die Forderung „Wir sollten einfach alle testen“ ein weitaus komplizierteres Vorhaben, als es klingt. Eine Ausweitung des Screenings auf eine Gruppe mit geringerer Prävalenz verursacht nicht bloß zusätzliche Kosten; sie verändert die Aussagekraft eines positiven Ergebnisses und führt zu Ängsten, Folgeuntersuchungen und mitunter zu Schäden bei Menschen, die nie krank waren.
Sicherheitswarnungen. Ein Angriffserkennungssystem mit einer Falsch-Positiv-Rate von 1%, das täglich eine Million Ereignisse überwacht, von denen nur eine Handvoll Angriffe sind, erzeugt zehntausend Warnmeldungen – und ein Team, das aufhört, sie zu lesen. Alarmmüdigkeit ist der Prävalenzfehler, ausgedrückt als organisatorisches Versagen.
Im Gerichtssaal. „Die Wahrscheinlichkeit, dass diese DNA-Übereinstimmung rein zufällig auftritt, liegt bei eins zu einer Million“ bedeutet nicht, dass die Wahrscheinlichkeit für die Unschuld des Angeklagten bei eins zu einer Million liegt. Stammt die Übereinstimmung aus dem Durchsuchen einer Datenbank mit einer Million Profilen, wäre rein zufällig bereits etwa ein Treffer zu erwarten. Die beiden Aussagen klingen identisch und unterscheiden sich doch in allem.
Astrobiologie. Dieselbe Struktur bestimmt Behauptungen über Leben auf anderen Planeten: Der Nachweis einer Biosignatur ist nur so stichhaltig wie die A-priori-Wahrscheinlichkeit, dass dort überhaupt Leben existiert – und genau das ist die Größe, die niemand kennt. Das Tool Biosignature Bayes macht diese Abhängigkeit explizit, anstatt sie zu verschleiern.
Die eine Gewohnheit, die sich lohnt
Wenn Ihnen gesagt wird, ein Test, ein Detektor oder ein Modell sei „zu 99% genau“, stellen Sie zwei Fragen.
Erstens: Genau in welche Richtung? Sensitivität und Spezifität sind unterschiedliche Werte, und eine einzige Angabe zur „Genauigkeit“ verschleiert meist einen davon.
Zweitens, und noch wichtiger: Wie häufig ist das, was nachgewiesen werden soll? Lautet die Antwort „selten“, dann ist das meiste, was der Detektor meldet, falsch – und wie falsch, lässt sich auf der Rückseite eines Briefumschlags in etwa dreißig Sekunden überschlagen.
Das Bayes tool führt dieselbe Rechnung mit drei Schiebereglern durch. Stellt man den obigen Fall ein und variiert die Sensitivität von 50% bis 100%, verändert sich das Ergebnis von 9% auf 17%. Variiert man die Spezifität über denselben Bereich, verschiebt es sich von 2% auf 100%. Prävalenz und Spezifität geben hier den Ausschlag; die Sensitivität – die Zahl auf der Packung – spielt kaum eine Rolle.
Auch die Fachleute irren sich
1978 stellten Casscells, Schoenberger und Graboys dem Personal sowie Studierenden der Harvard Medical School eine Variante dieser Frage: Eine Krankheit betrifft eine von tausend Personen, ein Test weist eine Falsch-Positiv-Rate von 5% auf, und das Testergebnis eines Patienten fällt positiv aus. Wie hoch ist die Wahrscheinlichkeit, dass der Patient die Krankheit hat?
Die häufigste Antwort war 95%. Die richtige Antwort liegt bei etwa 2%. Weniger als eine von fünf befragten Personen kam dem Ergebnis auch nur nahe – und das waren Menschen, die solche Tests beruflich anordnen.
Dieses Ergebnis wurde oft genug reproduziert, sodass es weniger eine Anklage gegen die Ärzteschaft ist als vielmehr eine Beschreibung dessen, wie der menschliche Verstand mit bedingten Wahrscheinlichkeiten umgeht. Der Instinkt greift nach der Genauigkeit des Instruments, die auf der Packung steht, und niemals nach der Prävalenz, die dort nicht zu finden ist.