Esta é uma tradução automática; o texto original encontra-se em inglês. Ler o original
Um teste com 99% de precisão está geralmente errado
Dez mil pessoas, um teste que deteta 99% dos casos, e 495 delas recebem notícias assustadoras que não mereciam.
Um teste deteta uma condição. Identifica 99% das pessoas que a têm e dá um falso positivo em apenas 5% das pessoas que não a têm. Uma em cada cem pessoas tem a condição. O seu teste dá positivo.
Qual é a probabilidade de a ter?
A resposta intuitiva é cerca de 95%. A resposta correta é 16,7%. A maioria das pessoas com teste positivo não tem a condição, e isto não é uma falha do teste — o teste está a fazer exatamente o que promete.
As quatro multiplicações
Considere 10 000 pessoas.
- 100 têm a condição. O teste deteta 99 delas.
- 9 900 não têm. O teste assinala erradamente 5% delas: 495 pessoas.
Assim, 594 pessoas obtêm um resultado positivo, e 99 delas estão realmente doentes. 99 ÷ 594 = 16,7%.
Os falsos positivos ultrapassam os verdadeiros positivos na proporção de seis para um, e fazem-no por uma razão que nada tem a ver com a qualidade do teste: há simplesmente muito mais pessoas saudáveis em relação às quais se pode errar. Uma taxa de erro de 5% aplicada a 9 900 pessoas produz mais erros do que uma taxa de sucesso de 99% aplicada a 100 pessoas produz sucessos.
Torne a condição mais rara e a situação piora rapidamente. Com uma prevalência de uma em cada mil pessoas, o mesmo teste dá um valor preditivo positivo de 1,9%. Quarenta e nove em cada cinquenta positivos são falsos.
Por que razão a intuição falha
A pergunta a que as pessoas respondem não é a pergunta que lhes foi feita. "Quão preciso é o teste" é uma afirmação sobre P(positivo | doente) — dado que está doente, qual é a probabilidade de obter um resultado positivo. O que se quer saber é P(doente | positivo) — dado um resultado positivo, qual é a probabilidade de estar doente. Estes são números diferentes, e a sua troca é tão comum que tem um nome: a falácia da taxa de base, ou falácia do promotor quando ocorre num tribunal.
A ponte entre ambos é o teorema de Bayes, e o termo que a intuição omite é a prevalência — a taxa de base. É o único número com que o material publicitário de um teste nunca se destaca, porque não é de todo uma propriedade do teste. É uma propriedade da população a que ele é aplicado.
O mesmo teste é excelente num contexto e inútil noutro. Aplicado a doentes que já apresentam sintomas, onde a prevalência pode ser de 30%, o nosso teste dá um valor preditivo positivo de 89%. Aplicado como rastreio populacional numa população onde a prevalência é de 0,1%, dá 1,9%. Nada no instrumento mudou.
Onde isto é decisivo
Políticas de rastreio médico. É precisamente por isso que os programas de rastreio são direcionados por idade e grupo de risco em vez de serem oferecidos a toda a gente, e por que razão "devíamos testar toda a gente" é uma proposta mais complicada do que parece. Alargar um rastreio a um grupo com menor prevalência não acrescenta apenas custos — altera o significado de um resultado positivo e gera ansiedade, procedimentos de acompanhamento e, por vezes, danos em pessoas que nunca estiveram doentes.
Alertas de segurança. Um detetor de intrusões com uma taxa de falsos positivos de 1%, a monitorizar um milhão de eventos por dia dos quais apenas uma mão-cheia são ataques, produz dez mil alertas e uma equipa que deixa de os ler. A fadiga de alertas é a falácia da taxa de base expressa como uma falha organizacional.
Tribunais. "A probabilidade de esta correspondência de ADN ocorrer ao acaso é de uma em um milhão" não significa que a probabilidade de o réu ser inocente seja de uma em um milhão. Se a correspondência resultou do cruzamento numa base de dados com um milhão de perfis, seria de esperar cerca de uma correspondência apenas por acaso. As duas afirmações parecem idênticas, mas diferem em tudo.
Astrobiologia. A mesma estrutura rege as alegações sobre vida em outros planetas: a deteção de uma bioassinatura é tão forte quanto a probabilidade a priori de haver vida para ser encontrada, que é precisamente a quantidade que ninguém conhece. A ferramenta Biosignature Bayes torna essa dependência explícita em vez de a ocultar.
O único hábito que vale a pena adquirir
Quando lhe disserem que um teste, detetor ou modelo tem "99% de precisão", faça duas perguntas.
Primeiro: preciso em que sentido? Sensibilidade e especificidade são números diferentes, e um único valor de "precisão" geralmente oculta um deles.
Segundo, e mais importante: quão comum é o elemento a ser detetado? Se a resposta for "rara", então a maior parte do que o detetor assinalar estará errada, e pode calcular quão errada num rascunho rápido em cerca de trinta segundos.
A ferramenta Bayes tool faz a mesma aritmética com seletores deslizantes, o que é útil sobretudo para ver com que intensidade a resposta muda ao arrastar a prevalência e quão pouco se altera ao arrastar a precisão.
Os profissionais também se enganam
Em 1978, Casscells, Schoenberger e Grayboys apresentaram uma versão desta questão a docentes, investigadores e estudantes da Harvard Medical School: uma doença que afeta uma em cada mil pessoas, um teste com uma taxa de falsos positivos de 5%, um doente com teste positivo. Qual é a probabilidade de o doente ter a doença?
A resposta mais comum foi 95%. A resposta correta é cerca de 2%. Menos de uma em cada cinco pessoas inquiridas chegou perto da resposta certa, e tratava-se de pessoas que prescrevem tais testes no seu dia a dia.
Esse resultado foi replicado vezes suficientes para ser menos uma acusação aos médicos e mais uma descrição de como a mente humana lida com a probabilidade condicional. O instinto recorre à precisão do instrumento, impressa na embalagem, e nunca à prevalência, que não o está.