Il s'agit d'une traduction automatique ; la version originale en anglais fait foi. Lire l'original
Un test fiable à 99 % se trompe la plupart du temps
Dix mille personnes, un test qui détecte 99 % des cas, et 495 d'entre elles reçoivent une nouvelle inquiétante qu'elles ne méritaient pas.
Un test dépiste une maladie. Il détecte 99 % des personnes atteintes et ne renvoie de faux positif que pour 5 % des personnes saines. Une personne sur cent est atteinte. Vous obtenez un résultat positif.
Quelle est la probabilité que vous soyez malade ?
La réponse intuitive tourne autour de 95 %. La réponse exacte est 16,7 %. La plupart des personnes testées positives ne sont pas malades, et ce n'est pas un défaut du test : il fait exactement ce qui est écrit sur la boîte.
Les quatre multiplications
Considérons 10 000 personnes.
- 100 ont la maladie. Le test en détecte 99.
- 9 900 ne l'ont pas. Le test classe à tort 5 % d'entre elles comme positives : 495 personnes.
Ainsi, 594 personnes sont testées positives, et 99 d'entre elles sont réellement malades. 99 ÷ 594 = 16,7 %.
Les faux positifs sont cinq fois plus nombreux que les vrais positifs, pour une raison qui n'a rien à voir avec la qualité intrinsèque du test : il y a tout simplement beaucoup plus de personnes saines chez qui se tromper. Un taux d'erreur de 5 % appliqué à 9 900 personnes produit plus de méprises qu'un taux de réussite de 99 % appliqué à 100 personnes ne produit de succès.
Rendez l'affection plus rare, et la situation se dégrade vite. Avec une prévalence d'un individu sur mille, le même test donne une valeur prédictive positive de 1,9 %. Quarante-neuf positifs sur cinquante sont faux.
Pourquoi l'intuition échoue
La question à laquelle les gens répondent n'est pas celle qui leur a été posée. « Quelle est la précision du test » est une affirmation portant sur P(positif | malade) : sachant que vous êtes malade, quelle est la probabilité d'obtenir un résultat positif. Ce que vous voulez savoir, c'est P(malade | positif) : sachant que le résultat est positif, quelle est la probabilité que vous soyez malade. Ce sont des nombres différents, et les intervertir est si fréquent que cela porte un nom : l'oubli de la fréquence de base, ou le sophisme du procureur lorsqu'il survient au tribunal.
La passerelle entre les deux est le théorème de Bayes, et le terme que l'intuition oublie est la prévalence — le taux de base. C'est le chiffre qu'aucune documentation commerciale de test ne met en avant, car il ne caractérise pas le test. Il caractérise la population à laquelle on l'applique.
Le même test est excellent dans un contexte et inutile dans un autre. Appliqué à des patients présentant déjà des symptômes, chez qui la prévalence pourrait atteindre 30 %, notre test donne une valeur prédictive positive de 89 %. Appliqué en dépistage de masse à une population où la prévalence est de 0,1 %, il donne 1,9 %. L'instrument, lui, n'a pas changé d'un iota.
Là où cela pèse
La politique de dépistage médical. C'est précisément pour cela que les programmes de dépistage ciblent des groupes d'âge et de risque précis plutôt que d'être proposés à l'ensemble de la population, et pourquoi « il n'y a qu'à tester tout le monde » est une proposition bien plus délicate qu'il n'y paraît. Élargir un dépistage à un groupe de prévalence plus faible ne fait pas qu'engendrer des coûts ; cela modifie le sens même d'un résultat positif, tout en générant de l'anxiété, des examens complémentaires et parfois des préjudices chez des personnes qui n'ont jamais été malades.
Les alertes de sécurité informatique. Un détecteur d'intrusions affichant un taux de faux positifs de 1 %, qui surveille un million d'événements quotidiens parmi lesquels seule une poignée constitue une attaque, produit dix mille alertes et démobilise l'équipe qui finit par ne plus les lire. La fatigue des alertes n'est rien d'autre que l'oubli de la fréquence de base sous la forme d'une défaillance organisationnelle.
Les prétoires. « La probabilité qu'une telle concordance ADN survienne au hasard est d'une sur un million » ne signifie pas que la probabilité que l'accusé soit innocent est d'une sur un million. Si la concordance provient de la fouille d'une base de données d'un million de profils, on s'attend à observer environ une concordance par le seul fait du hasard. Les deux affirmations se ressemblent, mais tout les sépare.
L'astrobiologie. La même structure gouverne les affirmations relatives à la vie sur d'autres planètes : la détection d'une biosignature n'a de force qu'à proportion de la probabilité a priori que la vie soit effectivement présente, ce qui est précisément la grandeur que personne ne connaît. L'outil Biosignature Bayes rend cette dépendance explicite au lieu de l'occulter.
L'unique réflexe à acquérir
Lorsqu'on vous affirme qu'un test, un détecteur ou un modèle est « fiable à 99 % », posez deux questions.
D'abord : fiable dans quel sens ? Sensibilité et spécificité sont deux valeurs distinctes, et un chiffre unique de « fiabilité » dissimule généralement l'une d'elles.
Ensuite, et surtout : à quel point ce que l'on cherche à détecter est-il fréquent ? Si la réponse est « rare », alors l'essentiel de ce que le détecteur signale sera erroné, et vous pouvez évaluer l'ampleur de l'erreur sur un coin de table en une trentaine de secondes.
L'outil Bayes tool effectue le même calcul avec trois curseurs. Reprenez le cas ci-dessus et faites varier la sensibilité de 50 % à 100 % : le résultat passe de 9 % à 17 %. Faites varier la spécificité sur la même plage et il passe de 2 % à 100 %. La prévalence et la spécificité sont déterminantes ; la sensibilité, qui est le chiffre imprimé sur l'emballage, est celui qui n'a presque aucune incidence.
Les professionnels se trompent aussi
En 1978, Casscells, Schoenberger et Graboys ont posé une variante de ce problème à des enseignants et étudiants de la Harvard Medical School : une maladie touchant une personne sur mille, un test au taux de faux positifs de 5 %, un patient testé positif. Quelle est la probabilité que le patient soit atteint ?
La réponse la plus courante était 95 %. La réponse exacte est d'environ 2 %. Moins d'une personne interrogée sur cinq s'en est approchée, alors qu'il s'agissait de praticiens dont le métier consiste à prescrire ces tests.
Ce résultat a été reproduit suffisamment souvent pour être moins un réquisitoire contre les médecins que la description de la façon dont l'esprit humain appréhende les probabilités conditionnelles. L'instinct se raccroche à la précision de l'instrument, imprimée sur la boîte, sans jamais songer à la prévalence, qui ne l'est pas.