See on masintõlge ja originaaltekst on inglise keeles. Loe originaali
Tee kakskümmend testi mitte millelgi ja üks neist osutub oluliseks
Üks test tegelikel andmetel annab p = 0,0002982. Kakskümmend testi puhtal müral annavad sulle pealkirja.
Ava t-test tool selle vaikeväärtustel: valim mahuga 30, mille keskmine on 78 hüpoteetilise 72 vastu ja standardhälve 8. See annab tulemuseks t = 4,1079 29 vabadusastme juures ja p = 0,0002982. See tähendab kolme võimalust kümnest tuhandest näha nii suurt erinevust, kui tegelikku erinevust ei oleks üldse olemas. Lükka nullhüpotees tagasi ja ole selles suhteliselt muretu.
Nüüd seadista α = 0,05 ja mõtle sellele, mida see künnis tegelikult lubab.
Lubadus kehtib testi kohta
α = 0,05 ütleb: kui nullhüpotees on tõene, lükkab see test selle valesti tagasi 5% juhtudest.
Tee kakskümmend sõltumatut testi andmetega, milles pole midagi. Igaüks neist käitub ootuspäraselt. Igaühel neist on 95% tõenäosus leida õigesti mitte midagi. Kuid tõenäosus, et kõik kakskümmend käituvad ootuspäraselt, on
0,9520 = 0,358
nõnda on tõenäosus, et vähemalt üks neist valehäire annab, 64,2%. See pole lihtsalt risk — see on tõenäoline tulemus. Kakskümmend testi puhtal müral annavad olulise tulemuse sagedamini kui mitte, ning sellel olulisel tulemusel on p-väärtus alla 0,05, usaldusvahemik, mis välistab nulli, ja kõik muud tegeliku avastuse tundemärgid, sest see on tegelikust eristamatu.
Minnes veelgi kaugemale: neljakümne testi puhul on tõenäosus 87%, saja testi puhul 99,4%. Jõudes piisava hulga võrdlusteni on avastus garanteeritud, ning see avastus ongi aritmeetika.
Aritmeetiline lahendus ja miks sellest ei piisa
Parandus on sama lihtne kui probleem ise. Kui kavatsed teha m testi ja soovid, et mis tahes valepositiivse tulemuse tõenäosus jääks 5% juurde, testi igaüht hoopis tasemel α/m. See on Bonferroni korrektsioon: kahekümne testi puhul nõua p < 0,0025, mitte p < 0,05.
Sisesta 0,0025 t-test tool-i α-lahtrisse ja vaata, mis juhtub kriitilise väärtusega — "olulise" latt liigub kaugemale ning tulemused, mis vana piiri hõlpsasti ületasid, seda enam ei tee. See on hind ja see on reaalne: rangem künnis tähendab, et tegelikud efektid jäävad märkamata. On olemas leebemaid korrektsioone, mis tasakaalustavad kahte viga erinevalt, kuid igaüks neist vähendab võimsust, sest ilma ohvriteta ei saa siin midagi.
Sügavam probleem on selles, et parandus vajab m väärtust, kuid m on tavaliselt teadmata. See ei ole artiklis esitatud testide arv — see on testide arv, mida tehti. Iga alamgrupp, mis ei jõudnud lõppteksti, iga tulemusmõõdik, mida prooviti ja millest loobuti, iga valik selle kohta, millised erindid välistada, on võrdlus. Uuring, mis raporteerib ühte testi, võib olla teinud viiskümmend otsust, ja lugejal pole mingit võimalust neid kokku lugeda.
Sellele osutas Ioannidis 2005. aastal oma tahtlikult terava pealkirjaga artiklis Miks enamik avaldatud teadustulemustest on valed. Tema argument ei ole see, et teadlased petavad. Vaid see, et kui paljud rühmad testivad paljusid hüpoteese, millest enamik on juba algselt valed, domineerivad pinnale tõusvate oluliste tulemuste hulgas valed tulemused — ja ükski individuaalne test selles kuhjas ei tee midagi valesti.
Mida selle asemel jälgida
Kolm harjumust, mis selle üle elavad ja mida kõiki saavad selle lehe tööriistad sulle näidata.
Vaata suurust, mitte otsust. p-väärtus vastab küsimusele "kas see võib olla müra?" ega midagi muud. See ei ütle midagi selle kohta, kui suur on efekt või kas see on oluline. confidence interval tööriist on olemas selleks, et vahemik kannab mõlemat: kus efekt tõenäoliselt asub ja kui täpselt sa seda tead. Oluline tulemus vahemikuga, mis ulatub "tühisest" kuni "hiiglaslikuni", ei ole sulle peaaegu midagi öelnud, ja selle p-väärtus varjab seda.
Küsi, kus erinevus asub. Hii-ruut-test, mis osutub oluliseks, ütleb sulle, et tabel ei klapi — mitte seda, milline osa katki läks. Tööriist residuals tool väljendab sama mõtet struktuurselt: üldine statistik on kokkuvõte ning teave peitub lahtrites. Tulemus, mida sa ei saa lokaliseerida, on tavaliselt tulemus, mida sa ei saa korrata.
Loenda võrdlused enne vaatamist. Otsustamine, mida ja kui palju asju sa testid enne andmete nägemist, on ainus toimiv lähenemine — sest pärast andmete saabumist on iga künnis läbiräägitav ja need läbirääkimised on nähtamatud. Eelregistreerimine on ainus viis teha m teadaolevaks arvuks.
Tööriista poolt ülaosas kuvatud 0,0002982 on tõepoolest väike p-väärtus. Kuid see on samuti vaid üks arv ühest testist ja selle tähendus sõltub täielikult millestki, mida arv ise ei saa sulle öelda: kui palju teisi teste sa selle saamiseks tegid.