Valikuline peatamine

Siinsetes katsetes tegelikku mõju ei ole. Vajutage Järgmine partii ja jälgige z-skoori iga uue andmepartii järel: niipea kui see ületab piirjoone, katse peatub ja kuulutab p < 0,05. Seejärel käivitage ülejäänud 999.

Näidisarvutus — Valikuline peatamine

Lävi 1. vaatlusel	1,960
1. vaatlus peatub, kui p on alla	0,0500
Lävi K. vaatlusel	1,960
K. vaatlus peatub, kui p on alla	0,0500
Valepositiivsete määr mõju puudumisel, täpne	19,34%
Tegeliku mõju tuvastamise tõenäosus, täpne	86,49%
Kasutatud andmete keskmine osakaal, tegelik mõju	50,0%
Selles 1000 katse seerias (seeria 1)	176 katset 1000-st peatus tulemusega p < 0,05 (17,60%)

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Valikuline peatamine

Valikuline peatamine tähendab katse lõpetamise üle otsustamist vahetulemuste põhjal: andmeid testitakse iga partii järel ning katse katkestatakse kohe, kui tulemus on statistiliselt oluline. Kasutades fikseeritud valimi läve |z_k| ≥ 1,96 kõigil K vaatlusel, on valepositiivse tulemuse tõenäosus P(|z_k| ≥ 1,96 mõne k ≤ K korral), mis ületab 5% iga K ≥ 2 puhul. Rühmjärjestikune piir seab läved c₁, …, c_K nii, et see kogutõenäosus on täpselt 5%: Pococki reegel kasutab ühte püsiväärtust, O'Brieni ja Flemingi oma valemit C_B√(K/k).

Mida iga sümbol tähendab

K: vaatluste arv, mis jagunevad andmete vahel võrdsete vahedega
zₖ: kõigi vaatluseni k kogutud andmete z-statistik
cₖ: lävi vaatlusel k; katse peatub, kui |zₖ| ≥ cₖ
θ: tegelik mõju, mis lisandub igale partiile, mõõdetuna ühe partii summa standardhälvetes

Eeldab: Andmed alluvad teadaoleva standardhälbega normaaljaotusele või on valim piisavalt suur z-testi kehtimiseks; vaatlused toimuvad võrdsete vahede järel; kõik testid on kahepoolsed (lihtne vaatlus 5% nivoo juures ja piirid rangemal tasemel, mis hoiab kogumäära 5% peal); maksimaalne valimimaht on ette määratud ning kõigi reeglite puhul sama, nii et vaatlused üksnes jaotavad seda.

Iga vaatlus lisab eelmisest vähem, kuid kümnest piisab, et 5%-st saaks 19% 🖖

Vajutage Kümme vaatlust. Nendes katsetes ei toimu tegelikult midagi ja esimene vaatlus käitub ootuspäraselt: see peatab 5,00% katsetest, täpselt nagu üks test peabki. Teine vaatlus püüab kinni veel 3,31% katseid, mis esimesel korral jäid napilt joone alla, kuid teisel üle triivisid. Iga järgnev vaatlus lisab järjest vähem (kümnes vaid 0,81 punkti), mis tekitab petliku tunde, et iga lisaandmete piilumine on peaaegu tasuta. Ometi koguneb kümne korraga kokku 19,34%. Tabel näitab, kuhu see tee viib. Vaatluste arvu kasvades 4-lt 100-le lisab iga kahekordistumine 5,0 kuni 5,5 punkti, nii et saja vaatluse juures jõutakse 37,36%-ni. Siinsel lehel ei küsita kuskil andmepartii suurust, sest tulemus sellest ei sõltu: kümme vaatlust maksavad needsamad 19,34%, olgu igas partiis kümme või kümme tuhat patsienti. Klim McPherson tõi need arvud arstide ette ajakirjas New England Journal of Medicine 1974. aastal, näidates, kuidas kümme korrigeerimata vaatlust muudavad esialgse 5% peaaegu 20%-ks. Viis aastat varem olid tema, Peter Armitage ja B. C. Rowe selle paisumise tabelina avaldanud ajakirjas Journal of the Royal Statistical Society. Peatumise hetkel arvutatud p-väärtust tõlgendatakse nii, nagu olekski katse pidanud seal lõppema, ehkki see polnud nii kavandatud.

Pocock saab igal vaatlusel lubada enamat kui viiendikku 5%-st 🖖

Vajutage Pocock, viis vaatlust. Igal vaatlusel kehtib sama lävi, mida tõstetakse seni, kuni kogumäär on täpselt 5%: |z| ≥ 2,413, mis vastab p-väärtusele alla 0,0158. Kui jagada 5% võrdselt ära, saaksime 0,01 vaatluse kohta. See on <a href="/stat/multiple-comparisons">mitmese testimise</a> Bonferroni parandus, ent siin osutub see liiga karmiks. Need viis testi ei ole sõltumatud: nad toetuvad samadele andmetele. Neljanda vaatluse andmed moodustavad neli viiendikku viienda vaatluse omadest ja kahe z-skoori korrelatsioon on √(4/5) = 0,894. Katse, mis ületab läve viiendal vaatlusel, oli sellele enamasti väga lähedal juba neljandal. Liites viis tõenäosust lihtsalt kokku, 5 × 0,0158 = 7,9%, arvestataks neid kattuvaid juhtumeid mitu korda. Vaatluste lisandudes vahe käriseb: saja vaatluse juures lubab Pocock igal korral taset p < 0,0040, mis on kaheksa korda leebem kui 0,05/100. Stuart Pocock töötas selle meetodi välja 1977. aastal ajakirjas Biometrika just nimelt siinse olukorra jaoks: võrdsed patsientide rühmad ja teadaoleva dispersiooniga normaaljaotus. Nüüd vajutage O'Brien–Fleming, viis vaatlust. Siin kahaneb lävi andmete kogunedes valemi C_B√(K/k) järgi: esimesel vaatlusel on see 4,562 (kus p peab olema alla 0,000005) ja viiendal langeb 2,040-ni. Tulbad näitavad tagajärge ilmekalt: neli viiendikku lubatud 5%-st kulutatakse kahel viimasel vaatlusel.

Tegeliku mõju korral säilitab O'Brien–Fleming peaaegu kogu võimsuse, Pocock aga kaotab üheksa punkti 🖖

Vajutage Pocock, tegelik mõju. Mõju suurus on valitud nii, et ühekordne test kõigil andmetel tuvastaks selle 80% juhtudest. Pococki piiriga viie vaatluse peale jagatuna avastavad needsamad andmed mõju 70,89% tõenäosusega. Vastutasuks saab katse sageli varem lõpetada: keskmiselt kulub vaid 70,7% andmetest. Vajutage O'Brien–Fleming, tegelik mõju: võimsus on 78,88% ja andmetest kulub keskmiselt 80,1%. Selle viimane lävi 2,040 on vaevalt rangem kui 1,96, mistõttu lõpuni kulgevat katset hinnatakse peaaegu samamoodi nagu ühekordset testi. Tabel jätkab sama rida: 100 vaatluse juures on O'Brieni–Flemingi võimsus endiselt 77,85%, Pocockil aga 60,65%. Kaks suvalise p < 0,05 veergu selgitavad, miks reegliteta peatamine tundub eksperimenteerijale nõnda ahvatlev. Viie vaatluse juures tuvastab see mõju 84,84% kordadest, rohkem kui kumbki piiridest, ent üksnes seepärast, et see oleks kuulutanud leidu ka 14,17% juhtudest siis, kui andmetes polnud tegelikult mitte midagi.

Ülesanne täielikult lahendatud

Neljas vaatlus kümnest 4 sammu
Veebipood katsetab uut ostukorvi lehte 10 000 külastajal ja vaatab tulemusi iga 1 000 järel. Kui väike peab O'Brieni–Flemingi piiri järgi olema p-väärtus neljandal vaatlusel, et katse seal peatuks? Vajutage esmalt Kümme vaatlust, O'Brien–Fleming: leht annab läve esimesel ja viimasel vaatlusel.

Ava see ülesanne tööriistas
1. Lehelt näeme, et viimase vaatluse lävi on C_B:
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. Iga teine lävi on C_B korrutatuna teguriga √(K/k). Neljandal vaatlusel kümnest:
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. Kahepoolse p-väärtusena normaaljaotusest:
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. Võrdluseks tabelist: peatumine suvalise p < 0,05 korral sama kümne vaatluse jooksul:
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
Vastus

p alla 0,00097 ehk ligikaudu üks tuhandest. Neljanda vaatluse tulemus p = 0,004, mis naiivse testimise puhul tooks kaasa võiduka pealkirja, laseb O'Brieni–Flemingi katsel rahulikult edasi kesta. Kümnendal vaatlusel on latiks p < 0,0369, mis on vaid pisut rangem kui 0,05, ning kogu protseduur hoiab valepositiivsete määra 5% peal — samal ajal kui esimese p < 0,05 juures peatudes lipsaks läbi tervelt 19,34%.

$p_{4} < 0.00097, p_{10} < 0.0369$

Õpitee

Mida p < 0,05 ei luba

Allikad (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

42Mathi meeskond · Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.