See on masintõlge; algne artikkel on inglise keeles. Loe originaali
99% täpsusega test eksib enamasti
Kümme tuhat inimest, test, mis tuvastab 99% juhtudest, ja 495 neist saavad hirmutava teate, mida nad polnud ära teeninud.
Test tuvastab teatud seisundi. See avastab 99% inimestest, kellel see on, ja annab valepositiivse tulemuse vaid 5% inimestest, kellel seda ei ole. Seisund esineb ühel inimesel sajast. Saad positiivse testitulemuse.
Kui suur on tõenäosus, et sul see seisund on?
Intuitiivne vastus on umbes 95%. Õige vastus on 16,7%. Enamikul positiivse tulemuse saanutest seda seisundit ei ole, ja see ei ole testi viga: test teeb täpselt seda, mis on karbil kirjas.
Neli korrutamist
Võtame 10 000 inimest.
- 100 inimesel on see seisund. Test tuvastab neist 99.
- 9 900 inimesel seda ei ole. Test märgib neist ekslikult 5%: 495 inimest.
Seega saab positiivse tulemuse 594 inimest, ja neist 99 on tegelikult haiged. 99 ÷ 594 = 16,7%.
Valepositiivseid tulemusi on tõepositiivsetest viis korda rohkem, ja seda põhjusel, millel pole mingit seost testi kvaliteediga: terveid inimesi, kelle puhul eksida, on lihtsalt tunduvalt rohkem. 9 900 inimesele kohaldatud 5% veamäär tekitab rohkem eksimusi kui 100 inimesele kohaldatud 99% õnnestumismäär õnnestumisi.
Kui muuta seisund haruldasemaks, halveneb olukord kiiresti. Levimuse üks tuhandest korral annab sama test positiivseks ennustusväärtuseks 1,9%. Nelikümmend üheksa positiivset tulemust viiekümnest on valed.
Miks intuitsioon eksib
Küsimus, millele inimesed vastavad, ei ole küsimus, mida neilt küsiti. „Kui täpne on test“ on väide tõenäosuse P(positiivne | haige) kohta: arvestades, et oled haige, kui tõenäoline on positiivne tulemus. Teada tahetakse aga tõenäosust P(haige | positiivne): arvestades positiivset tulemust, kui tõenäoline on, et oled haige. Need on erinevad arvud ja nende omavaheline segiajamine on nii tavaline, et sellel on oma nimi: baasmäära eksitus, või kohtusaalis esinedes süüdistaja eksitus.
Sillaks nende kahe vahel on Bayesi teoreem, ja tegur, mille intuitsioon kõrvale jätab, on levimus — baasmäär. See on see üks arv, mida testi turundusmaterjalides kunagi esikohale ei seata, sest see ei ole üldse testi omadus. See on selle elanikkonna omadus, mille uurimiseks test suunatakse.
Sama test on ühes olukorras suurepärane ja teises kasutu. Patsientidel, kellel juba esinevad sümptomid ja kelle seas levimus võib olla 30%, annab meie test positiivseks ennustusväärtuseks 89%. Kasutatuna massilise sõeluuringuna elanikkonnas, kus levimus on 0,1%, annab see tulemuseks 1,9%. Mõõtevahendis endas ei muutunud midagi.
Kus see on määrav
Meditsiiniliste sõeluuringute põhimõtted. Just seepärast suunatakse sõeluuringuprogrammid kindlatele vanuse- ja riskirühmadele, mitte ei pakuta neid kõigile, ning miks „me peaksime lihtsalt kõiki testima“ on keerulisem ettepanek, kui esmapilgul tundub. Sõeluuringu laiendamine madalama levimusega rühmale ei lisa üksnes kulusid; see muudab seda, mida positiivne tulemus tähendab, ning tekitab ärevust, lisauuringuid ja mõnikord kahju inimestele, kes polnudki haiged.
Turvahoiatused. Sissetungituvasti, mille valepositiivsete määr on 1% ja mis jälgib miljonit sündmust päevas (millest vaid üksikud on rünnakud), tekitab kümme tuhat häiret ja meeskonna, kes lakkab neid lugemast. Häireväsimus on baasmäära eksitus organisatsioonilise läbikukkumise kujul.
Kohtusaalid. „Tõenäosus, et see DNA-kattuvus esineb juhuslikult, on üks miljonist“ ei tähenda, et tõenäosus süüdistatava süütuseks on üks miljonist. Kui kattuvus leiti miljoni profiiliga andmebaasi läbiotsimisel, oleks ainuüksi juhuse tõttu ootuspärane ligikaudu üks kattuvus. Need kaks väidet kõlavad identselt, kuid erinevad kõiges.
Astrobioloogia. Sama seaduspära kehtib väidete kohta elu leidmisest teistel planeetidel: biosignatuuri tuvastamine on vaid nii kindel, kui suur on aprioorne tõenäosus, et elu seal üldse leidub — mis on täpselt see suurus, mida keegi ei tea. Tööriist Biosignature Bayes toob selle sõltuvuse selgelt esile, mitte ei mata seda maha.
Üks harjumus, mida tasub kujundada
Kui öeldakse, et test, detektor või mudel on „99% täpne“, esitage kaks küsimust.
Esiteks: täpne kumba pidi? Tundlikkus ja spetsiifilisus on erinevad näitajad ning üksainus „täpsuse“ number varjab tavaliselt üht neist.
Teiseks ja veelgi olulisem: kui levinud on tuvastatav nähtus? Kui vastus on „haruldane“, on enamik detektori antud hoiatustest valed, ja selle, kui valed need on, saab arvutada ümbriku tagaküljel umbes kolmekümne sekundiga.
Bayes tool teeb sama arvutuse kolme liuguriga. Seadke ülaltoodud juhtum ja muutke tundlikkust 50%-lt 100%-ni: vastus liigub 9%-lt 17%-le. Muutke spetsiifilisust samas vahemikus ja vastus liigub 2%-lt 100%-le. Selle määravad levimus ja spetsiifilisus; tundlikkus, mis on karbile trükitud number, loeb vaevu.
Ka spetsialistid eksivad
Aastal 1978 esitasid Casscells, Schoenberger ja Graboys selle küsimuse ühe variandi Harvardi Meditsiinikooli töötajatele ja üliõpilastele: haigus, mis tabab ühte inimest tuhandest, test valepositiivsete määraga 5%, ja patsient, kelle testitulemus on positiivne. Kui suur on tõenäosus, et patsiendil on see haigus?
Kõige sagedasem vastus oli 95%. Õige vastus on umbes 2%. Vähem kui üks viiest küsitletud inimesest jõudis selle lähedale, ja need olid inimesed, kelle igapäevatöö on selliseid teste määrata.
Seda tulemust on korratud piisavalt sageli, nii et see pole niivõrd süüdistus arstidele, kuivõrd kirjeldus sellest, kuidas inimmeel tingliku tõenäosusega toime tuleb. Instinkt haarab mõõteriista täpsuse järele, mis on karbile trükitud, ega otsi kunagi levimust, mida seal ei ole.