Mitmesed võrdlused

Kakskümmend hüpoteesi, igaüks testitud 5% nivoo juures. Tee need läbi ükshaaval ja jälgi, kuhu iga p-väärtus langeb. Seejärel vaheta reeglit, mis loeb tulemuse avastuseks. Alusta puhtast mürast ja muuda siis osa mõjudest reaalseteks.

Näidisarvutus — Mitmesed võrdlused

Valeavastuste keskmine arv, korrigeerimata	1,00
Bonferroni nivoo igale testile	0,0025
Vähemalt ühe valeavastuse tõenäosus, Bonferroni	4,88%

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Mitmesed võrdlused

Testide pere hõlmab kõiki ühe küsimuse või andmestiku kohta tehtud hüpoteesiteste ning selle perepõhine veamäär on tõenäosus lükata tagasi vähemalt üks tõene nullhüpotees: 1 − (1 − α)^m₀, kui m₀ sõltumatut tõest nulli testitakse igaüht nivoo α juures. Bonferroni kontrollib kõiki m hüpoteesi nivoo α/m juures. Holm järjestab p-väärtused ja kontrollib i-ndat väikseimat nivoo α/(m − i + 1) juures, peatudes esimese juures, mis lävendit ei läbi. Mõlemad hoiavad perepõhise veamäära tasemel α või sellest allpool. Benjamini–Hochberg lükkab tagasi k vähimat p-väärtust, kus k on suurim i, mille korral p_(i) ≤ iα/m, ning hoiab sõltumatute testide puhul vääravastuste määra ehk tagasilükkamiste seas olevate valede keskmist osakaalu tasemel (m₀/m)α või madalamal.

Mida iga sümbol tähendab

m: testide arv peres
m₀: mitu neist on tõesed nullid; m − m₀ on reaalsed efektid
α: nivoo, millega iga testi eraldi võetuna kontrollitakse (siin 5%)
p₍ᵢ₎: pere suuruselt i-s väikseim p-väärtus
δ: reaalse efekti suurus teststatistiku standardvigades

Eeldab: Testid on sõltumatud kahepoolsed z-testid; tõese nulli p-väärtus on ühtlase jaotusega vahemikus 0 kuni 1; iga reaalne efekt on sama suurusega; ning pere, selle maht ja valitud reegel on paika pandud enne andmete nägemist.

Neliteist testi mürast, ja valeavastus on juba tõenäolisem kui puhas tulemus 🖖

Vajuta Neliteist testi mürast. Iga test peab oma sõna: tõene null ületab 5% piiri ühel korral kahekümnest. Terve pere sellist lubadust ei anna. Tõenäosus, et mitte ükski neljateistkümnest piiri ei ületa, on 0,95¹⁴. Seega on tõenäosus, et seda teeb vähemalt üks, 51,23%, ning kahekümne testi juures juba 64,15%. Kolmteist testi annavad 48,67%, mistõttu neliteist on esimene peresuurus, kus valeavastus osutub tõenäolisemaks tulemuseks. Kahekümne testi juures näitab tulemuste tabel valeavastuste keskmiseks arvuks täpselt 20 × 0,05 = 1, ehkki 35,85% sellistest peredest ei leia vähimatki. Randall Munroe joonistas selle ilmekalt üles xkcd koomiksis 882 (Significant): teadlased kontrollivad akne vastu kahtekümmet eri värvi kummikommi, rohelise p-väärtus jääb alla 0,05 ning ajaleht kuulutab esiküljel: „Juhuse tõenäosus on vaid 5%!“. Rohelise kommi testi jaoks eraldi ongi 5% määr, millega tõene null läbi lipsab. Pealkiri jättis lihtsalt ülejäänud üheksateist mainimata.

Puhta müra korral on kolm korrektsiooni ühel meelel, reaalsete efektide puhul annavad need eri lubadusi 🖖

Vajuta Kakskümmend testi mürast ja vaata tabelit. Bonferroni laseb valeavastuse läbi 4,88% peredest, Holm täpselt samuti 4,88% ja Benjamini–Hochberg 5,00%. Kui iga hüpotees on tõene null, on iga avastus paratamatult väärkinnitus, nii et kõik kolm valvavad ühte ja sama ust. Nüüd vajuta Viis reaalset efekti 20 seas. Bonferroni ja Holm hoiavad ainsagi valeavastuse tekkimise tõenäosuse endiselt alla 5% (vastavalt 3,69% ja 4,13%), kuid maksavad selle eest lõivu: kumbki leiab viiest reaalsest efektist keskmiselt vaid umbes kaks. Benjamini–Hochberg lubab valeavastuse 13,99% peredesse, kuid leiab üles 2,81 efekti. Selle asemel piirab see valeavastuste osakaalu kõigi avastuste seas: keskmiselt on see ülimalt (m₀/m) × 5%, siin 15/20 × 5% = 3,75%. Yoav Benjamini ja Yosef Hochberg tõestasid selle tõkke sõltumatute testide jaoks 1995. aastal, ning lehe täpne arvutus toetub vahetult sellele. Nihuta võimsuse liugurit 20% pealt 99%-le: 3,75% püsib paigal, samas kui vähemalt ühe valeavastuse tekketõenäosus kerkib 4,63%-lt 19,84%-le. Kui iga ekslik väide läheb kalliks maksma, tuleb ohjata mistahes valeavastuse tõenäosust. Kui aga sõelutakse hulka kandidaate teise ringi kinnitusuuringu tarvis (nagu Benjamini ja Hochbergi näites ravimiarenduse kemikaalidega), on väike etteteada valejälgede osakaal mõistlik hind rohkemate tegelike leidude tabamise eest.

Mida rohkem on leida, seda lahkemaks muutub Benjamini–Hochberg 🖖

Bonferroni lävend on 0,05/m andmetest hoolimata. Kahekümne testi ja 80% võimsuse juures leitakse iga reaalne efekt üles 41,23% juhtudest, olgu ta ainus tegelik mõju või üks viieteistkümnest. Benjamini–Hochberg seab suuruselt i-ndale p-väärtusele piiriks i × 0,05/m, mistõttu iga eespool asuv tugev tulemus lükkab järgmist testi nimekirjas ühe koha võrra tahapoole, kus lävend on leebem ja kergemini ületatav. Ühe reaalse efektiga kahekümne seas leitakse see üles 42,06% juhtudest, mis on vaevalt parem kui Bonferronil. Viie puhul leitakse igaüks 56,24% ja viieteistkümne puhul 72,68% tõenäosusega, samal ajal kui Holm on roomanud 41,25%-lt vaid 46,07%-ni. Vajuta Viisteist reaalset efekti 20 seas ja vali Sorditud p järgi, et näha põhjust. Holmi trepp ja Benjamini–Hochbergi sirge algavad vähima p-väärtuse korral mõlemad tasemelt 0,0025 ning lõpevad suurima juures 0,05 peal. Kuid Holmi lävend püsib peaaegu põrandal kuni viimaste kohtadeni: kümnenda jaoks on see 0,05/11 = 0,0045, samal ajal kui Benjamini–Hochberg on jõudnud juba väärtuseni 10 × 0,0025 = 0,025. Benjamini ja Hochberg rõhutasid oma artiklis sedasama: mida suurem osa nullhüpoteesidest on väärad, seda suurem on võimsuse võit võrreldes reegliga, mis ohjab mistahes valeavastuse teket. Need kolm reeglit on igas peres üksteise sisse paigutunud, sest 0,05/m ≤ 0,05/(m − i + 1) ≤ i × 0,05/m: Holm jätab alles kõik, mida hoiab Bonferroni, ning Benjamini–Hochberg kõik, mida hoiab Holm.

Ülesanne täielikult lahendatud

Mida nõuab Bonferroni valimi mahult 3 sammu
Uuring kavandab kakskümmend võrdlust ja korrigeerib neid Bonferroni meetodiga. Iga võrdlus kavandati 80% võimsusega 5% nivoo juures. Kui palju suurem peab olema iga valim, et 80% võimsus tagasi võita? Vajuta esmalt Viis reaalset efekti 20 seas: tulemuste tabel annab efekti suuruse ja selle võimsuse Bonferroni korrektsiooniga.

Ava see ülesanne tööriistas
1. Lehelt näeme: 80% võimsus 5% nivoo juures tähendab efekti suurust δ = 2,802 standardviga, ning Bonferroni nivoo 0,0025 juures leitakse sama efekt üles vaid 41,23% juhtudest:
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. Jättes kõrvale vastassuunalise piiri taha langemise tõenäosuse, mis on 5% juures alla 10⁻⁶ ja 0,0025 juures alla 10⁻¹¹, nõuab 80% võimsus seost δ = z + 0,8416, kus z on kahepoolne kriitiline väärtus ja Φ(0,8416) = 0,80. Nivoo 5% puhul on see 1,960 + 0,842 = 2,802 ja nivoo 0,0025 korral 3,023 + 0,842 = 3,865:
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. Standardviga kahaneb kiirusega 1/√n, seega δ kasvab nagu √n, ning valim peab suurenema selle suhte ruudu võrra:
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
Vastus

Ligikaudu 1,90 korda rohkem vaatlusi igas võrdluses, kuna (3,865/2,802)² = 1,903. 100 võrdluse korral on Bonferroni lävend 0,0005 ja tegur 2,38. Holm ja Benjamini–Hochberg vajavad vähem, ning vajalik lisa sõltub sellest, kui paljud efektid on reaalsed; lehe tabel näitab, mida iga reegel leiab, mida see arvutus ei kajasta.

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

Õpitee

Mida p < 0,05 ei luba

Allikad (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

42Mathi meeskond · Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.