Esta é uma tradução automática; o original em inglês é o texto de referência. Ler o original
Um teste com 99% de exatidão costuma estar errado
Dez mil pessoas, um teste que deteta 99% dos casos, e 495 delas recebem notícias assustadoras que não mereciam.
Um teste deteta uma condição clínica. Identifica 99% das pessoas que a têm e apresenta um falso positivo em apenas 5% das pessoas que não a têm. Uma pessoa em cada cem tem a condição. O seu teste dá positivo.
Qual é a probabilidade de a ter?
A resposta intuitiva ronda os 95%. A resposta correta é 16,7%. A maioria das pessoas que têm um teste positivo não tem a condição, e isto não se deve a uma falha do teste: o teste está a fazer exatamente o que promete na embalagem.
As quatro multiplicações
Considere 10 000 pessoas.
- 100 têm a condição. O teste deteta 99 delas.
- 9 900 não têm. O teste assinala erradamente 5% delas: 495 pessoas.
Assim, 594 pessoas têm resultado positivo, e 99 delas estão realmente doentes. 99 ÷ 594 = 16,7%.
Os falsos positivos superam os verdadeiros positivos numa proporção de cinco para um, e fazem-no por uma razão que nada tem a ver com a qualidade do teste: há simplesmente muito mais pessoas saudáveis sobre as quais errar. Uma taxa de erro de 5% aplicada a 9 900 pessoas produz mais erros do que uma taxa de sucesso de 99% aplicada a 100 pessoas produz acertos.
Torne a condição mais rara e a situação piora rapidamente. Com uma prevalência de uma em cada mil pessoas, o mesmo teste dá um valor preditivo positivo de 1,9%. Quarenta e nove em cada cinquenta resultados positivos são falsos.
Por que razão falha a intuição
A pergunta a que as pessoas respondem não é a pergunta que lhes foi feita. «Qual é a exatidão do teste» é uma afirmação sobre P(positivo | doente): dado que está doente, qual é a probabilidade de obter um resultado positivo. O que se pretende saber é P(doente | positivo): dado um resultado positivo, qual é a probabilidade de estar doente. Estes números são diferentes, e a sua troca é tão comum que tem um nome: a falácia da taxa-base, ou falácia do promotor quando ocorre num tribunal.
A ponte entre ambos é o teorema de Bayes, e o termo que a intuição omite é a prevalência — a taxa-base. É o único número que o material promocional de um teste nunca destaca, porque não é de todo uma propriedade do teste. É uma propriedade da população à qual o teste é aplicado.
O mesmo teste é excelente num contexto e inútil noutro. Aplicado a doentes que já apresentam sintomas, onde a prevalência pode ser de 30%, o nosso teste dá um valor preditivo positivo de 89%. Aplicado como rastreio populacional onde a prevalência é de 0,1%, dá 1,9%. Nada mudou no instrumento.
Onde isto é decisivo
Políticas de rastreio médico. É precisamente por isso que os programas de rastreio são direcionados por grupo etário e de risco em vez de serem disponibilizados a toda a gente, e por que razão a ideia de que «devíamos simplesmente testar toda a gente» é uma proposta mais complexa do que parece. Alargar um rastreio a um grupo com menor prevalência não se limita a aumentar os custos; altera o significado de um resultado positivo e gera ansiedade, procedimentos de acompanhamento e, por vezes, danos em pessoas que nunca estiveram doentes.
Alertas de segurança. Um detetor de intrusões com uma taxa de falsos positivos de 1%, a monitorizar um milhão de eventos por dia dos quais apenas uma mão-cheia são ataques, produz dez mil alertas e leva a que a equipa deixe de os ler. A fadiga de alertas é a falácia da taxa-base manifestada como uma falha organizacional.
Tribunais. «A probabilidade de esta correspondência de ADN ocorrer ao acaso é de uma num milhão» não significa que a probabilidade de o réu ser inocente seja de uma num milhão. Se a correspondência resultou de uma pesquisa numa base de dados com um milhão de perfis, seria de esperar cerca de uma correspondência unicamente por acaso. As duas afirmações parecem idênticas, mas diferem em tudo.
Astrobiologia. A mesma estrutura rege as alegações sobre vida noutros planetas: a deteção de uma bioassinatura só é tão consistente quanto a probabilidade a priori de que haja vida para encontrar, que é precisamente o valor que ninguém conhece. A ferramenta Biosignature Bayes torna essa dependência explícita em vez de a ocultar.
O único hábito que vale a pena adquirir
Quando lhe disserem que um teste, um detetor ou um modelo tem «99% de exatidão», faça duas perguntas.
Primeira: exato em que sentido? A sensibilidade e a especificidade são grandezas diferentes, e um único valor de «exatidão» costuma ocultar uma delas.
Segunda, e mais importante: quão comum é aquilo que está a ser detetado? Se a resposta for «raro», a maior parte do que o detetor assinalar estará errada, e é possível calcular o erro no verso de um envelope em cerca de trinta segundos.
A ferramenta Bayes tool faz a mesma aritmética com três seletores deslizantes. Configure o caso acima e faça variar a sensibilidade de 50% a 100%: o resultado passa de 9% a 17%. Varie a especificidade no mesmo intervalo e o resultado passa de 2% a 100%. A prevalência e a especificidade determinam o desfecho; a sensibilidade, que é o número inscrito na embalagem, é a que quase não tem influência.
Os profissionais também erram
Em 1978, Casscells, Schoenberger e Graboys colocaram uma versão desta questão a docentes e estudantes da Faculdade de Medicina de Harvard: uma doença que afeta uma em cada mil pessoas, um teste com uma taxa de falsos positivos de 5%, um doente com resultado positivo. Qual é a probabilidade de o doente ter a doença?
A resposta mais comum foi 95%. A resposta correta é cerca de 2%. Menos de uma em cada cinco pessoas inquiridas chegou perto desse valor, e tratava-se de profissionais cuja atividade passa por prescrever tais testes.
Esse resultado foi replicado vezes suficientes para constituir menos uma acusação aos médicos do que uma demonstração de como a mente humana lida com a probabilidade condicionada. O instinto apoia-se na exatidão do instrumento, que vem impressa na embalagem, e nunca se socorre da prevalência, que ali não consta.