Võitja needus

Valige tegelik efekt ja valimi maht ning korrake uuringut. Iga punkt tähistab ühe uuringu hinnangut; värvilised neist saavutasid taseme p < 0,05. Jälgige, kuhu värvilised punktid tegeliku efekti suhtes satuvad.

Näidisarvutus — Võitja needus

Hinnangu standardviga	0,2000
Tegelik efekt standardvigades, λ	1,00
Väikseim oluline hinnang (p < 0,05)	0,392
Võimsus: tõenäosus saada p < 0,05	17,0%
Liialdustegur (tüüp M), kordades	2,49
Tegelikust suuremad olulised hinnangud	100,0%
Vale märgiga olulised hinnangud (tüüp S)	0,90%

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Võitja needus

Statistikas nimetatakse võitja needuseks nihet hinnangutes, mis jäetakse alles seetõttu, et need osutusid statistiliselt oluliseks. Uuringu hinnang d̂ tegelikule efektile δ on nivool α = 0,05 statistiliselt oluline siis, kui |d̂| > z·SE (kus z = 1,96). Sel tingimusel ületab selle ootusväärtus E(|d̂| | oluline) tegelikku efekti δ. Andrew Gelman ja John Carlin mõõdavad seda ülehindamismääraga E(|d̂| | oluline)/δ (M-tüüpi viga) ning tõenäosusega, et olulisel hinnangul on vale märk (S-tüüpi viga). Normaalse jaotusega hinnangu puhul, kus λ = δ/SE, on võimsus Φ(λ − z) + Φ(−λ − z) ning S-tüüpi vigade sagedus Φ(−λ − z) jagatuna võimsusega.

Mida iga sümbol tähendab

δ: tegelik efekt tulemusmuutuja standardhälvetes
d̂: ühe uuringu hinnang efektile δ
n: inimeste arv kummaski rühmas
SE: hinnangu standardviga, √(2/n)
λ: standardvigades mõõdetud tegelik efekt, δ/SE
z: kriitiline lävi standardvigades, 1,96 kahepoolse p < 0,05 korral

Eeldab: Kaks n-liikmelist rühma, kus tulemusmuutuja on normaaljaotusega ja teadaoleva standardhälbega 1. Hinnang on seega rangelt normaalne, N(δ, 2/n), ning testiks kahepoolne z-test nivool α = 0,05. Tegelik efekt on positiivne ja igas uuringus sama, uuringud on sõltumatud ning uuring jäetakse alles täpselt siis, kui see on statistiliselt oluline.

Alla 50% võimsuse juures hindab iga oluline tulemus efekti suurust üle 🖖

Klõpsa Väike uuring. Tegelik efekt on 0,20 standardhälvet ja kummaski rühmas on 50 inimest. Hinnangu standardveaks kujuneb seega 0,20 ning uuring saavutab taseme p < 0,05 üksnes siis, kui hinnang erineb nullist rohkem kui 0,392 võrra. Sellest väiksem väärtus pole eales oluline ega saa seetõttu kunagi uuringu tulemuseks. Selle läve ületab vaid 17,0% uuringutest ning nendegi keskmine on 0,498 ehk 2,49 korda suurem neid tekitanud tegelikust efektist. Vaata värvilisi punkte: mitte ükski ei jää kahe punktiirjoone vahele, tegelik efekt aga jääb. Sama kehtib alati, kui tegelik efekt jääb lävest allapoole; ning lävest allapoole jääb see alati, kui võimsus on 50% või väiksem. Klõpsa Võimsus 50%: 192 osalejat rühmas toob läve tasemeni 0,200, tegeliku efektiga kohakuti, ent ikkagi on iga oluline hinnang tegelikust suurem. Sellest piirist alates võib oluline hinnang jääda tegelikule ka alla, kuid mis tahes valimisuuruse juures ületab seda vähemalt pool hinnangutest – sest nulli lähedale langevad tulemused, mis keskmist alla tõmbaksid, ei osutu kunagi oluliseks. Seadistuse 80% võimsus juures (400 osalejat rühmas) on see osakaal 61,9%.

Väikese uuringu oluline hinnang mõõdab müra 🖖

Klõpsa Väike uuring ja seejärel Efekt 0,05. Tegelik efekt kahaneb neljandikuni varasemast, kuid oluliste hinnangute keskmine peaaegu ei liigu: esmalt 0,498, seejärel 0,471. Kui rühmas on 50 inimest, annab iga tegelik efekt nulli ja läve vahel oluliste hinnangute keskmiseks 0,468 kuni 0,552. Standardvigades väljendatuna jääb see vahemikku 2,34 kuni 2,76, ning see vahemik on sama iga katseplaani korral, mille võimsus on 50% või alla selle. Seega peegeldab olulise tulemuse suurus sellises uuringus peamiselt seda, kui suur oli selle standardviga. Uuring ise seda seestpoolt ei näe. Kui sisestada võimsuse valemisse tegeliku väärtuse pähe 0,498, näib selle 17,0% võimsusega katseplaani võimsus olevat 70,2%; tee sama arvuga 0,471, ja 5,7% katseplaan näib saavutavat 65,4%. Andrew Gelman ja John Carlin kirjeldavad oma 2014. aasta artiklis täpselt seda nõiaringi: iga väikesest uuringust leitud oluline hinnang on suur, ning sellele toetuv võimsusanalüüs jätab uuringust näiliselt igati mõistliku mulje. Nende pakutud lahendus on võtta efekti suurus väljastpoolt uuringut, kas teaduskirjandusest või sellest, mis on sisuliselt usutav – ja just seda allolev näidisülesanne teebki.

Oluline tulemus võib näidata vales suunas 🖖

Vajuta Efekt 0,05. Võimsus on 5,7%, vaevu üle 5%, mille annaks täiesti olematu efekt. Olulisuse saavutanud uuringutest näitab aga tervelt 23,7% efekti vales suunas. Igaühega neist käis kaasas 95% usaldusvahemik, mis välistas nulli — paraku valel pool. Gelman ja Carlin nimetavad seda S-tüüpi veaks ehk märgiveaks ning tulemuse paisutamist M-tüüpi veaks ehk suuruseveaks; siinsed olulised hinnangud ületavad tegelikku efekti 9,42 korda. Nende näide toetub Satoshi Kanazawa 2007. aasta artiklile, mille järgi nägusatel vanematel sünnib rohkem tütreid: erinevus oli 8 protsendipunkti (p = 0,015), mis teeb standardveaks 3,3. Sünnijärgse soosuhte uuringud viitavad aga sellele, et tegelik erinevus jääb kõvasti alla ühe punkti. Kui see oleks 0,3, oleks olulisel tulemusel autorite arvutuste järgi ligi 40% tõenäosusega vale märk ning efekt hinnataks umbes 25 korda üle. Märgiga eksida on märksa raskem kui suurusega. Selles mudelis püsib vale märgi sagedus alla 1%, kuni võimsus langeb alla 16,5%, ent selle võimsuse juures on ülehindamismäär juba 2,5. Järgmine aste, valeleiud, esitab küsimuse, mille need kolm vastuseta jätavad: kui paljud kõigist valdkonna olulistest tulemustest ülepea paika peavad?

Ülesanne täielikult lahendatud

Uuring tulemusega 0,45 4 sammu
Uuring, kus kummaski rühmas oli 50 inimest, teatab efektist 0,45 standardhälvet, p = 0,024. Varasemast on teada, et sarnased sekkumised nihutavad seda näitajat ligikaudu 0,10 võrra. Kui tegelik väärtus on 0,10, siis kui palju pidi selline katseplaan efekti üle hindama, kui tõenäoline oli saada valesuunaline tulemus ja mitu inimest rühmas tagaks 80% võimsuse? Vajuta Uuring 0,45: leht määrab δ = 0,10 ja n = 50.

Ava see ülesanne tööriistas
1. Alustuseks avaldatud tulemus. Standardviga ja z-statistik:
  
  $SE = 2/50 = 0.2000, z = \frac{0 . 45}{0 . 2000} = 2.25, p = 2 Φ (- 2.25) = 0.024$
2. Võtame uuringuväliselt δ = 0,10. Standardvigades väljendatuna on see λ = 0,5 ning võimsus on:
  
  $λ = \frac{0 . 10}{0 . 2000} = 0.5, power = Φ (0.5 - 1.96) + Φ (- 0.5 - 1.96) = Φ (- 1.46) + Φ (- 2.46) = 0.07215 + 0.00695 = 7 . 91%$
3. Kõigist uuringutest saavutab olulisuse 7,91% ja 0,69% osutub oluliseks valel pool, mis moodustab olulistest 8,8%. Oluliste tulemuste keskmine suurus on 0,479:
  
  $Type S = \frac{0 . 00695}{0 . 0791} = 8 . 8%, E (∣ \hat{d} ∣ ∣ sig) = 0.479 = 4.79 δ$
4. 80% võimsuse saavutamiseks peab λ jõudma väärtuseni z + Φ⁻¹(0,80), kuna jaotuse kauge saba on tühine, kusjuures λ = δ√(n/2):
  
  $λ = 1.96 + 0.8416 = 2.8016 = 0.10 n /2 \Rightarrow n = 2 (\frac{2 . 8016}{0 . 10})^{2} = 1569.8$
Vastus

1 570 inimest rühmas, 31,4 korda rohkem. Kui rühmas on 50 inimest, on katseplaani võimsus 7,9%, oluline hinnang pidi olema vähemalt 0,392 ja oluliste tulemuste keskmine on 0,479 — tegelikust väärtusest 4,79 korda suurem, kusjuures 8,8% neist on vale märgiga. Raporteeritud 0,45 on just see, mida selline katsekorraldus tegeliku efekti 0,10 korral tekitab, mistõttu ei anna see alust väärtust 0,10 hüljata. Sisesta lehele 1570: võimsus on 80,0% ning oluliste hinnangute keskmine 0,112, tegelikust vaid 1,12 korda suurem.

$n = 1570 per group (31.4 \times 50) : power 80 . 0%, E (∣ \hat{d} ∣ ∣ sig) = 0.112 = 1.12 δ$

Õpitee

Mida p < 0,05 ei luba

Allikad (1)

Type S and Type M errors and the exaggeration ratio, the formulas for power and the Type S rate under a normal estimate (note 2), the R function retrodesign() whose figures check:compute reproduces, the beauty-and-sex-ratio example the third insight quotes, and the circle the second insight describes (a significant estimate from a small study fed back into a power analysis makes the study look reasonable): A. Gelman and J. Carlin, "Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors," Perspectives on Psychological Science 9(6), 641–651, 2014.

42Mathi meeskond · Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.