Ceci est une traduction automatique ; le texte original est en anglais. Lire l'original
Un test fiable à 99 % se trompe la plupart du temps
Dix mille personnes, un test qui détecte 99 % des cas, et 495 d'entre elles reçoivent une nouvelle effrayante qu'elles ne méritaient pas.
Un test détecte une maladie. Il repère 99 % des personnes atteintes et ne produit un faux positif que pour 5 % des personnes saines. Une personne sur cent est atteinte. Votre test est positif.
Quelle est la probabilité que vous soyez atteint ?
La réponse intuitive tourne autour de 95 %. La réponse correcte est 16,7 %. La plupart des personnes testées positives ne sont pas atteintes, et ce n'est pas un défaut du test — le test fait exactement ce pour quoi il est conçu.
Les quatre multiplications
Prenons 10 000 personnes.
- 100 sont atteintes. Le test en détecte 99.
- 9 900 ne le sont pas. Le test en désigne à tort 5 % : 495 personnes.
Ainsi, 594 personnes sont testées positives, et 99 d'entre elles sont réellement malades. 99 ÷ 594 = 16,7 %.
Les faux positifs sont six fois plus nombreux que les vrais positifs, et cela pour une raison qui n'a rien à voir avec la qualité du test : il y a simplement beaucoup plus de personnes saines au sujet desquelles se tromper. Un taux d'erreur de 5 % appliqué à 9 900 personnes produit plus d'erreurs qu'un taux de réussite de 99 % appliqué à 100 personnes ne produit de succès.
Rendez la maladie plus rare et la situation s'aggrave rapidement. Avec une prévalence d'une personne sur mille, le même test donne une valeur prédictive positive de 1,9 %. Quarante-neuf positifs sur cinquante sont faux.
Pourquoi l'intuition échoue
La question à laquelle les gens répondent n'est pas celle qui leur a été posée. « Quelle est la fiabilité du test » est une affirmation sur P(positif | malade) — sachant que vous êtes malade, quelle est la probabilité d'obtenir un résultat positif. Ce que vous voulez savoir, c'est P(malade | positif) — sachant que le résultat est positif, quelle est la probabilité que vous soyez malade. Ce sont des nombres différents, et les confondre est si courant que cela porte un nom : l'oubli de la fréquence de base, ou le sophisme du procureur lorsque cela se produit devant un tribunal.
Le pont entre les deux est le théorème de Bayes, et le terme que l'intuition omet est la prévalence — la fréquence de base. C'est le seul chiffre que le matériel publicitaire d'un test ne met jamais en avant, parce qu'il ne s'agit pas du tout d'une propriété du test. C'est une propriété de la population à laquelle vous l'appliquez.
Le même test est excellent dans un contexte et inutile dans un autre. Appliqué à des patients présentant déjà des symptômes, où la prévalence pourrait être de 30 %, notre test donne une valeur prédictive positive de 89 %. Appliqué sous forme de dépistage de masse à une population où la prévalence est de 0,1 %, il donne 1,9 %. Rien dans l'instrument n'a changé.
Où cela est décisif
Politique de dépistage médical. C'est précisément la raison pour laquelle les programmes de dépistage sont ciblés par âge et par groupe de risque plutôt que proposés à tout le monde, et pourquoi l'idée selon laquelle « il faudrait simplement tester tout le monde » est plus complexe qu'il n'y paraît. Élargir un dépistage à un groupe où la prévalence est plus faible ne fait pas qu'ajouter des coûts — cela change la signification d'un résultat positif, et cela génère de l'anxiété, des examens complémentaires et parfois du tort à des personnes qui n'ont jamais été malades.
Alertes de sécurité. Un détecteur d'intrusion ayant un taux de faux positifs de 1 %, surveillant un million d'événements par jour dont seule une poignée sont des attaques, produit dix mille alertes et aboutit à une équipe qui ne les lit plus. La fatigue d'alerte est l'oubli de la fréquence de base s'exprimant sous la forme d'une défaillance organisationnelle.
Tribunaux. « La chance que cette correspondance ADN se produise au hasard est d'une sur un million » ne signifie pas que la probabilité que l'accusé soit innocent est d'une sur un million. Si la correspondance provient de la recherche dans une base de données d'un million de profils, on s'attend à environ une correspondance par le seul fait du hasard. Les deux affirmations semblent identiques, mais tout les sépare.
Astrobiologie. La même structure régit les affirmations concernant la vie sur d'autres planètes : la détection d'une biosignature n'est qu'aussi solide que la probabilité a priori que la vie s'y trouve, ce qui est précisément la quantité que personne ne connaît. L'outil Biosignature Bayes rend cette dépendance explicite au lieu de l'enfouir.
La seule habitude qui vaille la peine d'être prise
Lorsqu'on vous dit qu'un test, un détecteur ou un modèle est « fiable à 99 % », posez deux questions.
Premièrement : fiable dans quel sens ? La sensibilité et la spécificité sont des nombres différents, et un chiffre unique de « précision » ou de « fiabilité » en masque généralement l'un des deux.
Deuxièmement, et c'est le plus important : quelle est la fréquence de l'élément détecté ? Si la réponse est « rare », alors la plupart des éléments signalés par le détecteur seront erronés, et vous pouvez calculer à quel point sur le coin d'une table en une trentaine de secondes.
L'outil Bayes tool effectue le même calcul avec des curseurs, ce qui est surtout utile pour observer à quel point la réponse varie brutalement lorsque vous déplacez la prévalence, et à quel point elle varie peu lorsque vous déplacez la fiabilité.
Les professionnels se trompent aussi
En 1978, Casscells, Schoenberger et Grayboys ont posé une version de cette question au personnel et aux étudiants de la Harvard Medical School : une maladie touchant une personne sur mille, un test avec un taux de faux positifs de 5 %, un patient testé positif. Quelle est la probabilité que le patient soit atteint ?
La réponse la plus courante était 95 %. La réponse correcte est d'environ 2 %. Moins d'une personne interrogée sur cinq s'en est approchée, et il s'agissait de personnes dont c'est le métier d'ordonner de tels tests.
Ce résultat a été reproduit suffisamment souvent pour qu'il s'agisse moins d'un acte d'accusation contre les médecins que d'une description de la façon dont l'esprit humain traite la probabilité conditionnelle. L'instinct se raccroche à la fiabilité de l'instrument, qui est inscrite sur la boîte, et ne pense jamais à la prévalence, qui ne l'est pas.