See on masintõlge ja artikli algtekst on inglise keeles. Loe originaali
99% täpsusega test eksib enamasti
Kümme tuhat inimest, test, mis tuvastab 99% juhtudest, ja 495 neist saavad hirmutava uudise, mida nad ei ole ära teeninud.
Test tuvastab teatud haigusseisundit. See leiab üles 99% neist, kellel see seisund on, ning annab valepositiivse tulemuse vaid 5% neist, kellel seda ei ole. Ühel inimesel sajast on see haigusseisund. Teie testi tulemus on positiivne.
Kui suur on tõenäosus, et te olete haige?
Intuitiivne vastus on umbes 95%. Õige vastus on 16.7%. Enamikul positiivse tulemuse saanud inimestest seda haigusseisundit ei ole, ning see ei ole testi viga — test teeb täpselt seda, mida pakendil lubatakse.
Neli korrutamist
Võtame 10,000 inimest.
- 100 inimesel on see haigusseisund. Test tuvastab neist 99.
- 9,900 inimesel seda ei ole. Test märgib neist ekslikult 5%: 495 inimest.
Seega saab positiivse tulemuse 594 inimest ja neist 99 on tegelikult haiged. 99 ÷ 594 = 16.7%.
Valepositiivseid tulemusi on kuus korda rohkem kui tõepositiivseid, ning seda põhjusel, millel pole midagi pistmist testi kvaliteediga: terveid inimesi, kelle puhul eksida, on lihtsalt oluliselt rohkem. 9,900 inimese puhul rakendatud 5% veamäär annab rohkem eksimusi kui 100 inimese puhul rakendatud 99% õnnestumismäär annab õigeid tulemusi.
Muutke haigusseisund haruldasemaks ja olukord halveneb kiiresti. Levimuse korral üks tuhandest annab sama test positiivseks prognoosiväärtuseks 1.9%. Nelikümmend üheksa positiivset tulemust viiekümnest on valed.
Miks intuitsioon eksib
Küsimus, millele inimesed vastavad, ei ole see küsimus, mida neilt küsiti. „Kui täpne on test“ on väide tõenäosuse P(positiivne | haige) kohta — teades, et olete haige, kui tõenäoline on positiivne tulemus. Teie tahate aga teada tõenäosust P(haige | positiivne) — teades, et testi tulemus on positiivne, kui tõenäoline on, et olete haige. Need on erinevad arvud ning nende omavahelise segiajamise kohta on olemas eraldi mõiste: eelneva tõenäosuse ignoreerimine (või kohtusaalis süüdistaja eksitus).
Sillaks nende kahe vahel on Bayesi teoreem ning näitaja, mille intuitsioon kõrvale jätab, on levimus — ehk baasmäär. See on ainus arv, mida testi turundusmaterjalides kunagi esikohale ei seatagi, sest see ei ole üldse testi omadus. See on selle populatsiooni omadus, millele test suunatakse.
Sama test on ühes kontekstis suurepärane ja teises kasutu. Patsientide puhul, kellel on juba sümptomid ja kus levimus võib olla 30%, annab meie test positiivseks prognoosiväärtuseks 89%. Massisõeluuringuna populatsioonis, kus levimus on 0.1%, annab see tulemuseks 1.9%. Mõõteriista juures ei muutunud vähimagi võrra mitte miski.
Kus see otsustavaks saab
Meditsiinilise sõeluuringu poliitika. Just see on põhjus, miks sõeluuringuprogramme suunatakse vanuse ja riskirühma järgi, mitte ei pakuta kõigile, ning miks väide „peaksime lihtsalt kõiki testima“ on keerulisem ettepanek, kui see kõlab. Sõeluuringu laiendamine madalama levimusega rühmale ei lisa pelgalt kulusid — see muudab positiivse tulemuse tähendust ning tekitab ärevust, lisauuringute vajadust ja mõnikord kahju inimestele, kes polnud kunagi haiged.
Turvahäired. Sissetungi tuvastussüsteem, mille valepositiivsete tulemuste määr on 1% ja mis jälgib päevas miljonit sündmust, millest vaid käputäis on rünnakud, tekitab kümme tuhat häiret ning meeskonna, kes lõpetab nende lugemise. Häireväsimus on eelneva tõenäosuse ignoreerimine organisatsioonilise ebaõnnestumise kujul.
Kohtusaalid. „Tõenäosus, et see DNA kattuvus tekib juhuslikult, on üks miljonist“ ei tähenda, et kohtualuse süütuse tõenäosus on üks miljonist. Kui kattuvus leiti miljoni profiiliga andmebaasi läbiotsimisel, ongi ootuspärane saada umbes üks kattuvus puhtalt juhuse tõttu. Need kaks väidet kõlavad identseina, kuid erinevad kõiges.
Astrobioloogia. Sama struktuur suunab ka väiteid elu kohta teistel planeetidel: biosignatuuri tuvastamine on vaid nii tugev, kui tugev on aprioorne tõenäosus, et elu on seal olemas — mis on täpselt see suurus, mida keegi ei tea. Tööriist Biosignature Bayes muudab selle sõltuvuse selgelt nähtavaks, mitte ei peida seda ära.
Üks harjumus, mida tasub kujundada
Kui teile öeldakse, et test, tuvasti või mudel on „99% täpne“, küsige kaks küsimust.
Esiteks: täpne kumba pidi? Tundlikkus ja spetsiifilisus on erinevad näitajad ning üksik „täpsuse“ arv varjab tavaliselt ühte neist.
Teiseks ja veelgi olulisem: kui sagedane on tuvastatav nähtus? Kui vastus on „haruldane“, on enamik tuvasti märgitud tulemustest valed, ning te saate selle eksimuse ulatuse paberinurgale arvutada umbes kolmekümne sekundiga.
Tööriist Bayes tool teeb sama arvutuse liugurite abil, mis on kasulik eelkõige selleks, et näha, kui järsult vastus muutub, kui lohistate levimust, ja kui vähe see muutub, kui lohistate täpsust.
Ka spetsialistid eksivad
1978. aastal esitasid Casscells, Schoenberger ja Grayboys selle küsimuse ühe versiooni Harvard Medical Schooli töötajatele ja üliõpilastele: haigus, mis tabab ühte inimest tuhandest; test, mille valepositiivsete tulemuste määr on 5%; patsient, kes saab positiivse tulemuse. Kui suur on tõenäosus, et patsient on haige?
Kõige sagedasem vastus oli 95%. Õige vastus on umbes 2%. Vähem kui üks viiest küsitletud inimesest jõudis selle lähedale — ja need olid inimesed, kes tellivad selliseid teste oma igapäevatöös.
Seda tulemust on reprodutseeritud piisavalt sageli, nii et see pole niivõrd etteheide arstidele kui kirjeldus sellest, kuidas inimese mõistus tingliku tõenäosusega ümber käib. Instinkt haarab mõõteriista täpsuse järele, mis on kirjutatud pakendile, ega pöördu kunagi levimuse poole, mida seal kirjas ei ole.