See on masintõlge; artikli originaaltekst on inglise keeles. Loe originaali
Iga rühm andmetes näitab langustrendi. Koondnäitaja näitab tõusutrendi.
Keegi ei ole eksinud, midagi ei ole puudu ja valim ei ole liiga väike. Kaks identsetel andmetel tehtud korrektset arvutust osutavad vastassuundadesse.
Avage Causality Sandbox ja vajutage selle eelseadistusele Simpson. Paneel kuvab X-i ja Y-i vaheliseks korrelatsiooniks 0,1702 ning sobitatud tõusuks 0,0928. Positiivne: kui X kasvab, kasvab ka Y.
Vahetult selle all sobitab sama paneel samad punktid uuesti pärast nende jaotamist kolmanda veeru, G järgi. Tõus rühmas G = 0: −0,5842. Tõus rühmas G = 1: −0,6109.
Iga rühm langeb. Koondnäitaja tõuseb. Nende kahe arvutuse vahel ei lisatud, eemaldatud, kaalutud ega teisendatud ühtegi rida — neid vaid rühmitati.
Kuidas saavad mõlemad olla tõesed
Mitte miski sellest ei sõltu valimi suurusest ega statistilisest olulisusest.
Kolmas veerg täidab korraga kahte ülesannet. Paneel kuvab korrelatsiooniks X-i ja selle muutuja vahel 0,8061 ning Y-i ja selle vahel 0,6884. Seetõttu ei paikne rühmad hajuvusdiagrammil teineteise peal: üks asub madala X-i ja madala Y-i piirkonnas, teine kõrge X-i ja kõrge Y-i piirkonnas. Kumbki rühm moodustab seesmiselt allapoole kalduva punktipilve ning need kaks pilve paiknevad kohakuti piki tõusvat diagonaali.
Kui tõmmata läbi mõlema pilve üksainus sirge, domineerib selles nendevaheline nihe, sest see nihe katab palju laiema vahemiku kui kummagi pilve laius. Koondsirge mõõdab rühmadevahelist vahet. Rühmasisesed sirged mõõdavad nendesiseseid seoseid. Nende tulemused lahknevad, sest nad mõõdavad erinevaid asju, ja aritmeetika on mõlemal juhul laitmatu.
See selgitab ka, miks seda efekti ei saa kõrvaldada rohkemate andmetega. Koguge kümme korda rohkem punkte ja mõlemad hinnangud muutuvad täpsemaks — koondudes oma seniste vastassuunaliste väärtuste ümber. Simpsoni paradoks ei ole valimi müra ega regressiooni läbikukkumine. See juhtub siis, kui agregeeritakse üle olulise muutuja.
Juhtum, mis tegi selle kuulsaks
Berkeley ülikooli kraadiõppesse vastuvõtt 1973. aasta sügisel. Meessoost sisseastujatest võeti vastu umbes 44%, naistest aga 35% — üheksapunktine vahe enam kui kaheteistkümne tuhande avalduse lõikes oli liiga suur, et olla juhuslik.
Bickel, Hammel ja O'Connell tegid seejärel jaotuse osakondade kaupa. Vaid üksikud osakonnad kaldusid ootusest kummaski suunas oluliselt kõrvale ning naisi eelistavaid osakondi paistis olevat umbes sama palju kui mehi eelistavaid; korrektse koondamise järel jäi alles väike kallutatus naiste kasuks. Üheksapunktise vahe põhjustas peaaegu täielikult see, millistesse osakondadesse kandideeriti. Naised kandideerisid suuremal hulgal osakondadesse, kus vastuvõtumäär oli madal kõigi jaoks; mehed kandideerisid osakondadesse, kuhu võeti vastu peaaegu pool kõigist soovijatest. Osakond täitis täpselt sama rolli, mida täidab eelseadistuses G, olles korrelatsioonis nii sisendi kui ka tulemusega.
Berkeley uuringu teeb lugemisväärseks selle järelduste ettevaatlikkus. Autorid ei kuulutanud, et igasugune kallutatus puudub. Nad osutasid, et kallutatus oli nihkunud: mis iganes suunas kandideerijaid ülerahvastatud ja tiheda konkurentsiga erialadele, asus vastuvõtukomisjonidest eespool, ja nende andmed ei võimaldanud seda näha. Disagregeerimine näitas neile, kuhu mitte vaadata — mis on reaalne ja vaoshoitud tulemus.
Kumba arvu tuleks kasutada?
Ilmne õppetund — disagregeeri alati — on vale.
Vaatleme ravimiuuringut, kus ravi määramine korreleerub haiguse raskusastmega: raskemas seisundis patsientidele määrati uut ravimit sagedamini. Koondatuna näib ravim kahjulik. Raskusastme järgi jaotatuna toob see kasu igas kihis. Siin on vaja jaotust, sest haiguse raskusaste mõjutas nii seda, kes sai ravimit, kui ka uuringu tulemust. See on segav muutuja ning selle arvessevõtmine kõrvaldab moonutuse.
Kujutlege nüüd uuringut, kus ravim toimib vererõhku langetades, ning te jaotate andmed pärast ravi mõõdetud vererõhu järgi. Igas kihis näib ravim olevat mõjutu: te olete rühmitanud selle enda toimemehhanismi järgi. Siin on õige just koondnäitaja ning kohandamine hävitab efekti, mida püüdsite mõõta. Vererõhk on siin mediaator ja liivakastis leidub eelseadistus selle peegelpildi jaoks: kollider, muutuja, millesse suunduvad nii X kui ka Y. Rühmitage mediaatori järgi ja te kustutate reaalse efekti; rühmitage kollideri järgi ja te loote efekti, mida pole kunagi eksisteerinud.
Need kaks juhtumit võivad anda identsed arvutabelid. Miski andmetes endis neid ei erista. Valik koondamise ja jaotamise vahel on väide selle kohta, kumb muutuja oli eelnev — väide põhjusliku struktuuri kohta —, ja põhjuslikku struktuuri veergudest ei leia. Just seetõttu on see paradoks vaatlusuuringute püsiv eripära, mitte mõistatus, mida saaks korraks ära lahendada: statistika kitsendab võimalusi, kuid valiku peab langetama miski väljaspool statistikat.
Simpson ise juhtis sellele tähelepanu 1951. aastal artiklis, mis oli märksa ettevaatlikum kui selle hilisem kuulsus. Ta konstrueeris trendi pöördumise kontingentsustabelis ning väitis seejärel, et „mõistlik tõlgendus“ sõltub kategooriate tähendusest, mitte tabelist. Aritmeetika ei ole mitmetähenduslik. Küsimus on.
Mida sellega ette võtta
Sellest tuleneb kolm harjumust, ja need ei nõua palju vaeva.
Kuvage andmed graafikul enne sobitamist. Läbi kahe nihkes pilve kulgev koondtõus on hajuvusdiagrammil kohe nähtav, kuid korrelatsioonikordajas märkamatu. regression tool näitab jääke kõrvuti sobitusega ning kohakuti asetsevad rühmad jätavad sinna eksimatu jälje: jäägid on suured, struktureeritud ja rühmitunud, mitte juhuslikult hajunud.
Pange enne arvutamist kirja, mis teie arvates mida põhjustas. Kui te ei suuda öelda, miks mingi muutuja mudelisse kuulub, ei suuda te ka öelda, kas selle arvessevõtmine kõrvaldab segava muutuja või hävitab mehhanismi — ja tagantjärele suudate te õigustada kumbagi valikut, milles peitubki oht.
Suhtuge kahtlusega üksikusse esile tõstetud koondarvu, mis on arvutatud üle heterogeensete rühmade. Riiklikud keskmised, ettevõtteülesed mõõdikud, koondtrendid: igaüks neist on koondtõus üle pilvede, mis võivad liikuda hoopis teises suunas. Trendi pöördumiseks eelseadistuses oli vaja vaid kahte rühma ja ühte korrelatsioonis muutujat. Reaalsetes andmetes leidub mõlemaid kümneid.