Interaktiivsed matemaatika- ja teadusõppetunnid (ﾉ◕ヮ◕)ﾉ*:･ﾟ✧

← Statistika & rahandus

Ekslikud teadustulemused

Iga ruut tähistab üht kontrollitavat hüpoteesi ning täpp näitab, et see peab paika. Määrake tõeste hüpoteeside osakaal, uuringute võimsus ja mängu hiiliv kallutatus. Seejärel jälgige teadustöö etappe: tehakse katsed, lisandub kallutatus, avaldatakse statistiliselt olulised tulemused ja lõpuks korratakse kõiki avaldatud uuringuid.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Ekslikud teadustulemused

Teadusharu leidude positiivne ennustusväärtus (PPV) on tõeste tulemuste osakaal kõigi statistiliselt oluliste leidude seas. Kui kontrollitud hüpoteesidest on tõesed osakaal π, iga uuringu võimsus on olulisusnivool α võrdne väärtusega P ning osakaal u tulemuseta jäänud analüüsidest avaldatakse sellegipoolest leidudena, osutub tõene hüpotees leiuks tõenäosusega P + u(1 − P) ja väär tõenäosusega α + u(1 − α). Seega PPV = π[P + u(1 − P)] / (π[P + u(1 − P)] + (1 − π)[α + u(1 − α)]). See on John Ioannidise 2005. aasta valem, milles tema kasutatud šansside R = π/(1 − π) asemel on vahetult osakaal π. Sama võimsusega aus kordusuuring kinnitab leidudest osa PPV·P + (1 − PPV)·α.

Mida iga sümbol tähendab

π
valdkonnas kontrollitavate hüpoteeside seas tõeste osakaal
P
iga uuringu võimsus, 1 − β: tõenäosus tuvastada tegelik mõju
α
olulisusnivoo, 0,05: tõenäosus, et väära hüpoteesi uuring annab tulemuse p < 0,05
u
kallutatus: tulemuseta jäänud analüüside osakaal, mida esitletakse sellegipoolest leidudena
PPV
teadusharu avaldatud leidude seas tõeste tulemuste osakaal
Eeldab
Eeldatakse, et kõigil sama valdkonna uuringutel on ühesugune võimsus; iga hüpoteesi kontrollitakse enne avaldamist ühe korra; kallutatus mõjutab üksnes tulemuseta jäänud analüüse; avaldatakse kõik leitud tulemused ja ainult need; kordusuuring kujutab endast täpselt sama uuringu kordamist sama võimsusega ja ilma kallutatuseta. Leiul puudub siin suurus ja suund: see, mil määral oluliseks osutunud uuring mõju tegelikku suurust üle hindab, on võitja needus – sellest rääkis eelmine aste.

Sama tulemus p < 0,05 maksab nõrgas uuringus vähem 🖖

Valige 80% võimsus. Paika peab iga kümnes hüpotees ja analüüsiga ei trikitata: leiuks kvalifitseerub üksnes tulemus p < 0,05. Iga 1 000 hüpoteesi kohta teatab valdkond 80 tõest ja 45 väära leidu, mis tähendab, et avaldatust peab tegelikult paika 64,0%. Nüüd valige 20% võimsus. Vääraid leide on ikka 45. Need pärinevad 900 väära hüpoteesi testimisest olulisusnivool α = 5%, mida võimsus kuidagi ei kõiguta. Praeguses valimis asuvad need 48 täpita ruutu mõlema seadistuse ajal täpselt samadel kohtadel. Tõeste leidude arv kukub aga 20 peale ja tegelike leidude osakaal variseb 30,8%-ni. Väikesest võimsusest räägitakse tihti kui teadlase enda kaotusest ehk märkamata jäänud seostest. Tegelikult kaotab ka lugeja. Nõrga uuringu statistiliselt oluline tulemus pidi ületama sama künnise, kuid on sellest hoolimata vähem väärt: selle künnise ületanute seas on tõeseid lihtsalt vähem. John Ioannidis sõnastas vajaliku tingimuse 2005. aastal ainsa reaga: leid on tõenäolisemalt tõene kui väär vaid siis, kui (1 − β)R > α, kus 1 − β tähistab võimsust ja R kontrollitava hüpoteesi tõesuse šansse. Kui paika peab iga kümnes oletus, on R = 1/9 ning uuringu võimsus peab ületama 45%.

Suur võimsus ei korva kallutatust 🖖

Valige 10% kallutatust. Uuringud on sama tugevad kui varem (võimsus 80%), ent iga kümnes tulemuseta jäänud analüüs kuulutatakse ikkagi leiuks: vahetatakse tulemusnäitajat, otsitakse sobivaid alarühmi või jäetakse ebamugav mõõtmistulemus välja. Ioannidis tähistab seda määra sümboliga u. Tõestele hüpoteesidele annab see vähe juurde, sest need leiti enamasti niigi üles (80% asemel 82%). Kogu hoop tabab vääri hüpoteese. Aus testimine lükkaks neist tagasi 95%, ent nüüd teeb 10% sellest 95%-st kokku 9,5 protsendipunkti lisaleide: väär hüpotees osutub leiuks 14,5% juhtudest ehk peaaegu kolm korda sagedamini. Tõeste leidude osakaal kukub 64,0%-lt 38,6%-le. Tulemuste tabeli rida näitab selle tegelikku hinda: aus teadus saavutab sama 38,6% taseme juba 28,3% võimsusega uuringutega. Nihutage võimsuse liugur 99%-le – kallutatud teadusharu suudab tõusta vaid 43,2%-ni; 100% võimsuse rida näitab laeks 43,4% ning sellest kõrgemale ei küüni ükski uuring. Valige nüüd Aus, 35% võimsust: tulemus on 43,8%. Aus teadus avaldab 35% võimsuse juures sama usaldusväärseid leide kui veatu võimsusega uuring kallutatusega u = 10%. Seejuures ei sõltu lõikepunkt α/(α + u(1 − α)) = 34,5% algsest tõeste hüpoteeside osakaalust π. Liigutage esimest liugurit: see arv jääb paigale.

Tõene leid võib kordusuuringus luhtuda, ja sageli luhtubki 🖖

Valige 80% võimsus, klõpsake Alusta uuesti ja liikuge sammhaaval viimase etapini, kus kõiki avaldatud leide korratakse ausalt ja sama võimsusega. Tõene leid kinnitub 80% juhtudest ja väär 5% juhtudest, mistõttu kordub 53,0% avaldatud leidudest; selles konkreetses valimis 69 tulemust 129-st. Lugege kokku täpi peale sattunud ristid: 60 luhtunud kordusest olid 12 tegelikult tõesed hüpoteesid (täpne teoreetiline osa on 27,2%). Keegi ei teinud sohki ja uuringutes polnud vigu. 80% võimsuse juures lähebki iga viies tegelik mõju kaotsi, kordusuuringus täpselt samamoodi nagu esimesel korral. Korduvusmäära ei tohi seega pidada teadusharu tõeste väidete osakaaluks. See ei saa kunagi ületada kordusuuringute võimsust: iga tõene leid kordub selle tõenäosusega ning väärate korduvust piirab α, mis on alati madalam. Kui teadusharu kordusuuringute võimsus oleks 50%, luhtuks pool tulemustest isegi siis, kui igaüks neist vastaks tõele. Valige 10% kallutatust ja samad ausad kordusuuringud kinnitavad vaid 33,9% leidudest, sest suuremat osa korrata püütust polnud algusest peale olemas.

Ülesanne täielikult lahendatud

  1. Mida tõotab p = 0,04 järgmisele uuringule 4 sammu

    Uuring teatab kahepoolsest tulemusest p = 0,04. Oletame, et tegelik mõju vastab täpselt mõõdetule. Kui suur on tõenäosus, et identne kordusuuring (sama kavand ja sama valimi suurus) saavutab samas suunas tulemuse p < 0,05? Sisestage see võimsus seejärel lehele tingimusel, et paika peab iga kümnes hüpotees ja kallutatust pole, ning vaadake, kui suur osa säärase valdkonna leidudest on tõesed ja kui paljud korduvad.

    Ava see ülesanne tööriistas

    1. Teisendame p-väärtuse tagasi selle aluseks olnud z-skooriks. Katse oli kahepoolne, seega jääb kummassegi jaotussabasse 0,02, ning künnisele p < 0,05 vastab punkt, millest kõrgemale jääb 0,025:

    2. Kui tegelik mõju võrdub vaadeldud mõjuga, järgib kordusuuringu z normaaljaotust keskväärtusega 2,054 ja standardhälbega 1. Kordamine õnnestub, kui tulemus ületab 1,960:

    3. Väärtus alla −1,960 tähendaks küll olulisust, ent vastassuunas, mis poleks kordamine ja mille tõenäosus on nagunii kaduvväike:

    4. Valige Valdkond p = 0,04: 54% võimsust (liugur liigub täisprotsentides), iga kümnes hüpotees tõene, kallutatus puudub.

    Vastus

    53,7%, mis on vaevalt parem mündiviskest; piiril p = 0,05 annavad samad tehted tulemuseks täpselt 50%. Seejuures on tegu optimistliku hinnanguga: võitja needus eelmisel astmel näitas, et statistiliselt oluline uuring hindab efekti enamasti üle, mistõttu kordusuuringu tegelik võimsus on veelgi väiksem. Valdkonnas, mille uuringute võimsus on 54%, peab paika 54,5% leidudest ja kordub 31,7%. Et identne kordusuuring õnnestuks sama eelduse korral neljal juhul viiest, peaks algse uuringu tulemus olema p = 0,005, mis tagab 80,2%.

Õpitee

Mida p < 0,05 ei luba

Allikad (1)
  • The page's model and formula: the positive predictive value of a claimed finding from power, the pre-study odds R and the bias u (Tables 1 and 2), the condition that a finding is more likely true than false when (1 − β)R > α, which the first insight quotes, the definition of u the second insight paraphrases, and Table 4, whose first row is the 'Ioannidis's trial' preset and all nine of whose rows check:compute reproduces: J. P. A. Ioannidis, "Why Most Published Research Findings Are False," PLoS Medicine 2(8): e124, 2005.

· Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.