Esta es una traducción automática y el texto en inglés es el original. Leer el original
Una prueba con un 99% de precisión suele equivocarse
Diez mil personas, una prueba que detecta el 99% de los casos y 495 de ellas reciben una noticia alarmante que no merecían.
Una prueba detecta una afección. Identifica al 99% de las personas que la padecen y da un falso positivo solo en el 5% de las personas que no la padecen. Una de cada cien personas tiene la afección. El resultado de su prueba es positivo.
¿Cuál es la probabilidad de que la padezca?
La respuesta intuitiva ronda el 95%. La respuesta correcta es 16,7%. La mayoría de las personas que dan positivo no tienen la afección, y esto no constituye un defecto de la prueba: la prueba está haciendo exactamente lo que indica en la caja.
Las cuatro multiplicaciones
Tomemos 10.000 personas.
- 100 tienen la afección. La prueba detecta a 99 de ellas.
- 9.900 no la tienen. La prueba señala erróneamente al 5% de ellas: 495 personas.
Así pues, 594 personas dan positivo, y 99 de ellas están realmente enfermas. 99 ÷ 594 = 16,7%.
Los falsos positivos superan a los verdaderos positivos en una proporción de cinco a uno, y lo hacen por una razón que nada tiene que ver con la calidad de la prueba: sencillamente, hay muchísimas más personas sanas sobre las que equivocarse. Una tasa de error del 5% aplicada a 9.900 personas produce más equivocaciones que los aciertos que produce una tasa de éxito del 99% aplicada a 100 personas.
Si la afección es aún más infrecuente, la situación empeora con rapidez. Con una prevalencia de uno entre mil, la misma prueba ofrece un valor predictivo positivo del 1,9%. Cuarenta y nueve de cada cincuenta positivos son falsos.
Por qué falla la intuición
La pregunta a la que la gente responde no es la que se le ha formulado. «¿Cómo de precisa es la prueba?» es una afirmación sobre P(positivo | enfermo): dado que estás enfermo, cuál es la probabilidad de obtener un resultado positivo. Lo que quieres saber es P(enfermo | positivo): ante un resultado positivo, cuál es la probabilidad de que estés realmente enfermo. Son cifras distintas, e intercambiarlas es tan habitual que tiene nombre: la falacia de la tasa base, o la falacia del fiscal cuando ocurre en los tribunales.
El puente entre ambas es el teorema de Bayes, y el término que la intuición omite es la prevalencia: la tasa base. Es el único dato que el material comercial de una prueba nunca pone en primer plano, porque no es en absoluto una propiedad de la prueba. Es una propiedad de la población a la que se aplica.
La misma prueba resulta excelente en un contexto e inútil en otro. Aplicada a pacientes que ya presentan síntomas, donde la prevalencia podría situarse en el 30%, nuestra prueba ofrece un valor predictivo positivo del 89%. Aplicada como cribado masivo a una población con una prevalencia del 0,1%, ofrece un 1,9%. En el instrumento no ha cambiado absolutamente nada.
Dónde resulta decisivo
Criterios de cribado médico. Este es precisamente el motivo por el cual los programas de cribado se dirigen por edad y grupo de riesgo en lugar de ofrecerse de forma generalizada, y por el que la idea de que «deberíamos hacer la prueba a todo el mundo» es una propuesta bastante más compleja de lo que parece. Extender un cribado a un grupo con menor prevalencia no solo añade costes; altera lo que significa un resultado positivo y genera ansiedad, pruebas complementarias y, en ocasiones, perjuicios para personas que nunca estuvieron enfermas.
Alertas de seguridad. Un detector de intrusiones con una tasa de falsos positivos del 1%, que monitoriza un millón de eventos al día de los cuales solo un puñado son ataques, produce diez mil alertas y provoca que el equipo acabe ignorándolas. La fatiga por alertas es la falacia de la tasa base manifestada como un fallo organizativo.
Tribunales. «La probabilidad de que esta coincidencia de ADN se deba al azar es de una entre un millón» no significa que la probabilidad de que el acusado sea inocente sea de una entre un millón. Si la coincidencia procede de rastrear una base de datos de un millón de perfiles, cabría esperar aproximadamente una coincidencia atribuible únicamente al azar. Ambas afirmaciones suenan idénticas, pero difieren en todo.
Astrobiología. La misma lógica rige las afirmaciones sobre la existencia de vida en otros planetas: la detección de una biofirma solo es tan sólida como la probabilidad a priori de que haya vida allí dispuesta a ser hallada, que es exactamente la magnitud que nadie conoce. La herramienta Biosignature Bayes hace explícita esa dependencia en lugar de ocultarla.
El único hábito que merece la pena adquirir
Cuando te digan que una prueba, un detector o un modelo tiene una «precisión del 99%», hazte dos preguntas.
Primera: ¿preciso en qué sentido? La sensibilidad y la especificidad son cifras distintas y un único dato de «precisión» suele esconder una de ellas.
Segunda, y más importante: ¿cómo de común es aquello que se pretende detectar? Si la respuesta es «raro», la mayor parte de lo que señale el detector será erróneo, y puedes calcular el alcance de ese error en el reverso de un sobre en apenas treinta segundos.
La herramienta Bayes tool realiza las mismas operaciones con tres controles deslizantes. Introduce los valores anteriores y desplaza la sensibilidad del 50% al 100%: el resultado varía del 9% al 17%. Desplaza la especificidad en ese mismo intervalo y variará del 2% al 100%. La prevalencia y la especificidad son las que deciden el resultado; la sensibilidad, que es la cifra que figura en la caja, es la que apenas influye.
Los profesionales también se equivocan
En 1978, Casscells, Schoenberger y Graboys plantearon una variante de este problema a médicos, docentes y alumnos de la Facultad de Medicina de Harvard: una enfermedad que afecta a una de cada mil personas, una prueba con una tasa de falsos positivos del 5% y un paciente que da positivo. ¿Cuál es la probabilidad de que el paciente la padezca?
La respuesta más común fue el 95%. La respuesta correcta es aproximadamente el 2%. Menos de una de cada cinco personas consultadas se aproximó a la solución, y se trataba de personas que se dedican profesionalmente a prescribir estas pruebas.
Ese resultado se ha replicado con la frecuencia suficiente como para entender que no representa un reproche a los médicos, sino una descripción de cómo procesa la mente humana la probabilidad condicionada. El instinto recurre a la precisión del instrumento, que figura impresa en la caja, y nunca repara en la prevalencia, que no lo está.