Teorema de Bayes / Explorador de Falsos Positivos

como a prevalência altera a fiabilidade de um teste positivo

A carregar a simulação interativa...

porque é que a precisão é apenas metade da história 🖖

A sensibilidade e a especificidade descrevem o teste; a prevalência descreve a população antes do teste. O teorema de Bayes combina os dois. Quando a prevalência é baixa, mesmo uma pequena taxa de falsos positivos pode gerar muitos falsos alarmes, porque a maioria das pessoas testadas não tem a doença. É por isso que um resultado de rastreio positivo precisa frequentemente de confirmação, enquanto o mesmo teste pode ser muito convincente num grupo de alto risco.

um teste atualiza uma crença, não a substitui 🖖

O teorema de Bayes é uma regra para mudar de ideia diante de evidências. Você parte de uma probabilidade a priori — sua melhor estimativa antes do teste, que aqui é a prevalência — e o resultado a desloca para cima ou para baixo até uma probabilidade a posteriori. Um único positivo raramente leva direto à certeza; ele multiplica suas chances iniciais em vez de sobrescrevê-las. A lição: antes de confiar em qualquer resultado, pergunte primeiro quão provável era o fato de início.

a mesma armadilha levou alguém à prisão 🖖

Confundir P(positivo | doença) com P(doença | positivo) tem um nome nos tribunais: a falácia do promotor. No julgamento de Sally Clark, em 1999, o júri ouviu que duas mortes súbitas infantis numa mesma família tinham probabilidade de 1 em 73 milhões e tomou isso como a probabilidade de ela ser inocente. São números diferentes — o segundo ignora quão rara também é a alternativa (um duplo homicídio). Sua condenação foi anulada em 2003, e a Royal Statistical Society condenou publicamente o abuso.

BAYES — UM RESULTADO POSITIVO NÃO É A MESMA COISA QUE TER A DOENÇA

Qual caso de rastreamento você está lendo?

Três números decidem o que um teste positivo significa: quão comum é a condição, com que frequência o teste a detecta e com que frequência ele dá alarme falso. Sensibilidade e especificidade descrevem o teste; a prevalência descreve a população — e normalmente é a prevalência que faz o estrago. Trabalhe em frequências naturais em vez de porcentagens e a resposta deixa de ser contraintuitiva: imagine 1000 pessoas, conte os verdadeiros positivos, conte os falsos e compare.

Condição rara, teste excelente — a maioria dos positivos ainda erra PPV ≈ 9%
Condição comum — a prevalência resgata um teste mais fraco PPV ≈ 51%
Prevalência moderada — e quanto vale um negativo PPV ≈ 60%, NPV ≈ 99%
Sensibilidade alta, especificidade mediana — o botão errado PPV ≈ 29%

01

Condição rara, teste excelente — a maioria dos positivos ainda erra

O que você sabe: Prevalência 0,1 %, sensibilidade 99 %, especificidade 99 %. O teste é tão bom quanto testes chegam a ser; a condição é realmente rara.

Resultado: PPV ≈ 9%

Exemplo resolvido: Em 10 000 pessoas: 10 têm e cerca de 10 dão positivo; 9990 não têm e 100 dão positivo mesmo assim → VPP = 10/110 ≈ 9 %

Abrir este caso: doença rara, teste preciso
Condição rara, teste excelente — a maioria dos positivos ainda erra. Dez positivos verdadeiros enterrados em cem falsos: a taxa-base vence. Prevalência 0,1 %, sensibilidade 99 %, especificidade 99 %. O teste é tão bom quanto testes chegam a ser; a condição é realmente rara.
Dez positivos verdadeiros enterrados em cem falsos: a taxa-base vence.

02

Condição comum — a prevalência resgata um teste mais fraco

O que você sabe: Prevalência 10 %, sensibilidade 95 %, especificidade 90 %. Um teste claramente pior, aplicado onde a condição é de fato comum.

Resultado: PPV ≈ 51%

Exemplo resolvido: Em 1000 pessoas: 100 têm e 95 dão positivo; 900 não têm e 90 dão positivo → VPP = 95/185 ≈ 51 %

Abrir este caso: doença mais comum
Condição comum — a prevalência resgata um teste mais fraco. A mesma aritmética com dez vezes a prevalência: agora um positivo é quase cara ou coroa. Prevalência 10 %, sensibilidade 95 %, especificidade 90 %. Um teste claramente pior, aplicado onde a condição é de fato comum.
A mesma aritmética com dez vezes a prevalência: agora um positivo é quase cara ou coroa.

03

Prevalência moderada — e quanto vale um negativo

O que você sabe: Prevalência 5 %, sensibilidade 85 %, especificidade 97 % — o formato de um teste rápido de antígeno durante um surto.

Resultado: PPV ≈ 60%, NPV ≈ 99%

Exemplo resolvido: Em 1000: 50 infectados, 43 detectados e 7 perdidos; 950 livres, 29 marcados por engano → VPP = 43/72 ≈ 60 % e VPN = 922/929 ≈ 99 %

Abrir este caso: tipo covid
Prevalência moderada — e quanto vale um negativo. Um positivo é cara ou coroa com um empurrão; um negativo está quase resolvido. Prevalência 5 %, sensibilidade 85 %, especificidade 97 % — o formato de um teste rápido de antígeno durante um surto.
Um positivo é cara ou coroa com um empurrão; um negativo está quase resolvido.

04

Sensibilidade alta, especificidade mediana — o botão errado

O que você sabe: Prevalência 2 %, sensibilidade 99 %, especificidade 95 %. Quase ninguém que usa escapa, mas uma pessoa saudável em cada vinte é acusada.

Resultado: PPV ≈ 29%

Exemplo resolvido: Em 1000: 20 usuários, 20 detectados; 980 não usuários, 49 marcados mesmo assim → VPP = 20/69 ≈ 29 %, ou seja, sete em cada dez positivos são inocentes

Abrir este caso: rastreio de drogas
Sensibilidade alta, especificidade mediana — o botão errado. Vinte usuários reais contra quarenta e nove acusações falsas: o que precisa de conserto é a especificidade. Prevalência 2 %, sensibilidade 99 %, especificidade 95 %. Quase ninguém que usa escapa, mas uma pessoa saudável em cada vinte é acusada.
Vinte usuários reais contra quarenta e nove acusações falsas: o que precisa de conserto é a especificidade.
Referências (1)

Problema resolvido na íntegra

  1. Um segundo resultado positivo para uma prevalência de 0,1% 5 passos

    Um segundo resultado positivo. Trata-se de uma prevalência de 0,1% com sensibilidade de 99% e especificidade de 99% — uma doença rara e um teste excelente, em que um resultado positivo é sabidamente uma prova fraca. Calcule quanto vale um segundo resultado positivo independente.

    1. As odds, e não a probabilidade, são a forma sob a qual a evidência se multiplica. Uma pessoa em cada mil tem a doença, pelo que a posição inicial é 1 contra 999 — e é esse 999, e não qualquer um dos mostradores, que causa o estrago.

    2. A razão de verosimilhança compara a frequência com que surge um positivo em cada grupo. Ambos os valores vêm dos mostradores: 99% das pessoas com a doença testam positivo, e uma especificidade de 99% deixa 1% de todas as outras a testar também positivo.

    3. Multiplicar as odds a priori pela razão de verosimilhança é a totalidade de Bayes nesta forma, e odds de a contra b convertem-se de novo em a/(a+b). Um fator de 99 é uma evidência enorme e, ainda assim, perde, porque começou 999 atrás.

    4. Um segundo teste começa onde o primeiro acabou — a probabilidade a posteriori de um resultado é a a priori do seguinte. Nada no teste em si mudou, pelo que se aplica o mesmo fator de 99, desta vez a odds que já não são desprovidas de esperança.

    5. Esse passo assumiu que os dois positivos são independentes, que é exatamente o que a repetição do mesmo teste não consegue dar. Se aquilo que identificou uma pessoa saudável da primeira vez — uma proteína com reação cruzada, uma amostra mal rotulada — a voltar a identificar metade das vezes, os falsos positivos quase não diminuem.

    Resposta

    A ferramenta apresenta 9,0% para um único positivo, a partir de uma substituição cujo resultado dá 0,090164 — os mesmos 99/1098. Dois positivos independentes elevam o valor para 90,75% e três para 99,90%, porque o fator de 99 é cobrado de cada vez, enquanto a probabilidade a priori de 999 para 1 é paga apenas uma vez. Essa é a aritmética por trás dos testes de confirmação, e o passo 5 são as suas entrelinhas: uma repetição correlacionada situa-se nos 16,4%, apenas ligeiramente mais convincente do que o resultado único que devia confirmar. O segundo teste tem, por isso, de falhar de forma diferente do primeiro — uma molécula-alvo diferente, um laboratório diferente, um mecanismo diferente — ou a multiplicação é uma ficção. O número a reter é 99: a sensibilidade dividida pela taxa de falsos positivos é todo o peso probatório de um teste, sendo um multiplicador de odds em vez de uma resposta.

Percurso de aprendizagem

O a priori e de onde ele vem

Conduz a Bilhar de Bayes a atualização com todas as variáveis mensuráveis.

Problemas de exemplo

  • doença rara, teste preciso - prev=0.1%, teste com 99% de precisão -> VPP de apenas 9%: a maioria dos positivos são falsos alarmes
  • doença mais comum - prev=10% -> o VPP sobe para 51%; a prevalência é a alavanca oculta
  • tipo covid - Teste rápido de COVID com 5% de prevalência -> VPP ~ 60%
  • rastreio de drogas - Triagem de drogas com 2% de prevalência -> VPP ~ 29% apesar de 99% de sensibilidade