Esta es una traducción automática y el texto original está en inglés. Leer el original
Una prueba con una precisión del 99% suele equivocarse
Diez mil personas, una prueba que detecta el 99% de los casos y 495 de ellas reciben una noticia alarmante que no merecían.
Una prueba detecta una afección. Detecta al 99% de las personas que la padecen y da un falso positivo solo en el 5% de las personas que no la padecen. Una persona de cada cien tiene la afección. Usted da positivo.
¿Qué probabilidad hay de que la tenga?
La respuesta intuitiva es en torno al 95%. La respuesta correcta es 16,7%. La mayoría de las personas que dan positivo no tienen la afección, y esto no es un fallo de la prueba: la prueba está haciendo exactamente lo que promete.
Las cuatro multiplicaciones
Consideremos 10.000 personas.
- 100 tienen la afección. La prueba detecta a 99 de ellas.
- 9.900 no la tienen. La prueba marca erróneamente al 5% de ellas: 495 personas.
Por lo tanto, 594 personas dan positivo, y 99 de ellas están realmente enfermas. 99 ÷ 594 = 16,7%.
Los falsos positivos superan a los verdaderos positivos en una proporción de seis a uno, y lo hacen por una razón que no tiene nada que ver con la calidad de la prueba: simplemente hay muchas más personas sanas sobre las que equivocarse. Una tasa de error del 5% aplicada a 9.900 personas produce más equivocaciones que los aciertos que genera una tasa de éxito del 99% aplicada a 100 personas.
Si la afección es más rara, la situación empeora rápidamente. Con una prevalencia de una entre mil personas, la misma prueba ofrece un valor predictivo positivo del 1,9%. Cuarenta y nueve de cada cincuenta positivos son falsos.
Por qué falla la intuición
La pregunta a la que responde la gente no es la pregunta que se le ha planteado. «Qué precisión tiene la prueba» es una afirmación sobre P(positivo | enfermo): dado que se está enfermo, cuál es la probabilidad de obtener un resultado positivo. Lo que se desea saber es P(enfermo | positivo): dado un resultado positivo, cuál es la probabilidad de estar enfermo. Son números distintos, y confundirlos es tan común que tiene un nombre: la falacia de la frecuencia base, o la falacia del fiscal cuando ocurre en un tribunal.
El puente entre ambas es el teorema de Bayes, y el término que la intuición omite es la prevalencia: la tasa base. Es el único número con el que el material publicitario de una prueba nunca abre, porque no es en absoluto una propiedad de la prueba. Es una propiedad de la población sobre la que se aplica.
La misma prueba es excelente en un entorno e inútil en otro. Aplicada a pacientes que ya presentan síntomas, donde la prevalencia podría ser del 30%, nuestra prueba ofrece un valor predictivo positivo del 89%. Aplicada como cribado masivo a una población donde la prevalencia es del 0,1%, ofrece un 1,9%. Nada ha cambiado en el instrumento.
Dónde resulta esto decisivo
Política de cribados médicos. Por esta razón precisa los programas de cribado se dirigen a grupos de edad y de riesgo en lugar de ofrecerse a toda la población, y por la que la idea de «deberíamos hacer pruebas a todo el mundo» es una propuesta más compleja de lo que parece. Ampliar un cribado a un grupo con menor prevalencia no solo añade costes: cambia el significado de un resultado positivo y genera ansiedad, procedimientos de seguimiento y, en ocasiones, daños a personas que nunca estuvieron enfermas.
Alertas de seguridad. Un detector de intrusiones con una tasa de falsos positivos del 1%, que supervisa un millón de eventos al día de los cuales solo un puñado son ataques, produce diez mil alertas y un equipo que deja de leerlas. La fatiga por alertas es la falacia de la frecuencia base expresada como un fallo organizativo.
Tribunales. «La probabilidad de que esta coincidencia de ADN ocurra al azar es de una entre un millón» no significa que la probabilidad de que el acusado sea inocente sea de una entre un millón. Si la coincidencia procede del rastreo en una base de datos de un millón de perfiles, cabría esperar aproximadamente una coincidencia solo por azar. Ambas afirmaciones parecen idénticas, pero se diferencian en todo.
Astrobiología. La misma estructura rige las afirmaciones sobre la vida en otros planetas: la detección de una biofirma es tan sólida como la probabilidad a priori de que haya vida que encontrar, que es exactamente la magnitud que nadie conoce. La herramienta Biosignature Bayes hace explícita esa dependencia en lugar de ocultarla.
El único hábito que merece la pena adquirir
Cuando le digan que una prueba, un detector o un modelo tiene una «precisión del 99%», plantee dos preguntas.
En primer lugar: ¿precisión en qué sentido? La sensibilidad y la especificidad son números distintos, y una sola cifra de «precisión» suele ocultar uno de los dos.
En segundo lugar, y lo que es más importante: ¿con qué frecuencia se da aquello que se detecta? Si la respuesta es «es raro», la mayor parte de lo que marque el detector estará equivocado, y se puede calcular hasta qué punto está equivocado en el reverso de un sobre en unos treinta segundos.
La herramienta Bayes tool realiza la misma aritmética con deslizadores, lo cual resulta útil sobre todo para observar con qué violencia cambia la respuesta al arrastrar la prevalencia y qué poco se mueve al arrastrar la precisión.
Los profesionales también se equivocan
En 1978, Casscells, Schoenberger y Grayboys plantearon una versión de esta pregunta al personal y a los estudiantes de la Facultad de Medicina de Harvard: una enfermedad que afecta a una persona de cada mil, una prueba con una tasa de falsos positivos del 5% y un paciente que da positivo. ¿Qué probabilidad hay de que el paciente la padezca?
La respuesta más común fue del 95%. La respuesta correcta es aproximadamente del 2%. Menos de una de cada cinco personas consultadas estuvo cerca de acertar, y se trataba de personas que prescriben este tipo de pruebas para ganarse la vida.
Ese resultado se ha replicado con suficiente frecuencia como para que sea menos una acusación a los médicos que una descripción de cómo la mente humana gestiona la probabilidad condicionada. El instinto recurre a la precisión del instrumento, que viene impresa en la caja, y nunca recurre a la prevalencia, que no lo está.