See on masintõlge; ingliskeelne tekst on algupärand. Loe originaali
Iga rühm andmestikus langeb. Koguandmestik tõuseb.
Keegi pole teinud viga, midagi pole puudu ja valim ei ole liiga väike. Kaks õiget arvutust täpselt samadel andmetel osutavad vastupidistesse suundadesse.
Avage Causality Sandbox ning vajutage selle eelseadistusele Simpson. Paneel kuvab X-i ja Y-i vaheliseks korrelatsiooniks 0,1702 ning sovitatud tõusuks 0,0928. Positiivne: X-i kasvades kasvab ka Y.
Otse selle all sovitab seesama paneel samadele punktidele uue sirge pärast seda, kui need on jagatud kolmanda veeru G alusel. Tõus rühmas G = 0: −0,5842. Tõus rühmas G = 1: −0,6109.
Iga rühm langeb. Koguandmestik tõuseb. Nende kahe arvutuse vahel ei lisatud, eemaldatud, kaalutud ega teisendatud ühtegi rida — neid vaid rühmitati.
Kuidas mõlemad saavad õiged olla
Kui seda kord mõista, on mehhanism täielikult mehaaniline ega ole kuidagi seotud valimi suuruse või olulisusega.
Kolmas veerg täidab korraga kahte ülesannet. Paneel kuvab X-i ja selle muutuja vaheliseks korrelatsiooniks 0,8061 ning Y-i ja selle muutuja vaheliseks korrelatsiooniks 0,6884. Seega ei paikne rühmad hajuvusdiagrammil kohakuti: üks hõlmab madala X-i ja madala Y-i piirkonda, teine aga kõrge X-i ja kõrge Y-i piirkonda. Iga rühm kujutab endast siseselt allapoole suunatud pilve ning need kaks pilve paiknevad kohakuti piki tõusvat diagonaali.
Kui tõmmata läbi mõlema pilve üksik sirge, domineerib selles nendevaheline nihe, sest see nihe katab palju laiema vahemiku kui kumbki pilv eraldi. Koondsirge mõõdab rühmadevahelist vahet. Rühmasisesed sirged mõõdavad rühmasisest seost. Need ei lange kokku, sest mõõdavad erinevaid asju, ning arvutus on mõlemal juhul laitmatu.
See selgitab ka, miks seda efekti ei saa parandada andmete hulga suurendamisega. Koguge kas või kümme korda rohkem punkte ja mõlemad hinnangud muutuvad täpsemaks — oma olemasolevate, vastupidiste väärtuste ümber. Simpsoni paradoks ei ole valimimüra. See ei ole väikese valimi artefakt ega regressiooni ebaõnnestumine. See juhtub siis, kui andmeid agregeeritakse olulise muutuja üle.
Juhtum, mis tegi selle kuulsaks
Berkeley ülikooli magistri- ja doktoriõppe vastuvõtt 1973. aasta sügisel. Umbes 44% meestaotlejatest võeti vastu, võrreldes 35% naistega — see on üheksaprotsendipunktine erinevus rohkem kui kaheteistkümne tuhande avalduse lõikes, mis on liiga suur, et olla juhuslik.
Bickel, Hammel ja O'Connell tegid seejärel analüüsi osakondade kaupa. Enamik osakondi näitas väikest kalduvust naiste kasuks ning üldine erinevus ei jäänud püsima: agregeeritud erinevuse põhjustas peaaegu täielikult see, millistesse osakondadesse inimesed kandideerisid. Naised kandideerisid suuremal arvul osakondadesse, kus vastuvõtumäär oli kõigi jaoks madal; mehed kandideerisid osakondadesse, mis võtsid vastu peaaegu poole kõigist sooviavaldajatest. Osakond mängis täpselt sama rolli nagu G eelseadistuses — see oli korreleeritud nii sisendi kui ka tulemusega.
Berkeley uuringu teeb lugemisväärseks selle järelduse põhjalikkus ja ettevaatlikkus. Autorid ei kuulutanud, et kallutatust polnud olemas. Nad osutasid, et kallutatus oli nihkunud: mis tahes tegur, mis suunas kandideerijaid ülerahvastatud ja tiheda konkurentsiga erialadele, asus vastuvõtukomisjonidest ülesvoolu ning nende andmed ei saanud seda tuvastada. Andmete disagregeerimine näitas neile, kuhu ei tasu vaadata, mis on tegelik ja samas tagasihoidlik tulemus.
Kumba arvu tuleks kasutada?
Siin on see osa, mis teeb sellest enam kui lihtsalt huvitava tõsiasja, sest ilmselge õppetund — disagregeerige alati — on vale.
Vaatleme ravimikatsetust, kus ravi määramine korreleerub patsiendi seisundi raskusastmega: haigematele patsientidele anti uut ravimit sagedamini. Agregeeritult näib ravim kahjulik. Raskusastme järgi jaotatult aitab see igas kihis. Antud juhul on vajalik just jaotatud tulemus, sest raskusaste mõjutas seda, kes ravimit sai, ja mõjutas ka tulemust. Tegemist on segava teguriga ning selle arvessevõtmine eemaldab moonutuse.
Nüüd vaatleme katsetust, kus ravim toimib vererõhu alandamise kaudu, ning andmed jaotatakse pärast ravi mõõdetud vererõhu alusel. Igas kihis näib ravim olevat mõjuta — olete rühmitanud andmed ravimi enda toimemehhanismi järgi. Siin on õige agregeeritud näitaja ning arvessevõtmine hävitab efekti, mida püüdsite mõõta. Liivakastil on eelseadistus ka selle struktuuri jaoks: collider — muutuja, mille poole mõlemad sisendid osutavad ja mille tingimustamine tekitab olematu seose.
Need kaks juhtumit võivad anda täpselt samasugused arvutabelid. Andmetes endas ei erista neid miski. Valik agregeeritud ja jaotatud tulemuse vahel kujutab endast väidet selle kohta, kumb muutuja oli esimene — ehk põhjusliku struktuuri kohta —, ja põhjuslikku struktuuri ei ole veergudes näha. Seetõttu ongi see paradoks vaatlusuuringute püsiv omadus, mitte ühekordselt lahendatav mõistatus: statistika kitsendab võimalusi ning otsuse peab tegema miski väljaspool statistikat.
Simpson ise tõi selle esile 1951. aastal artiklis, mis oli ettevaatlikum kui selle maine. Ta konstrueeris tulemuste pöördumise kontingentsustabelis ning väitis seejärel, et „mõistlik tõlgendus“ sõltub kategooriate tähendusest, mitte tabelist. Arvutus ei ole kahemõtteline. Küsimus on.
Mida selle suhtes ette võtta
Siit tuleneb kolm harjumust, mis ei nõua suurt vaeva.
Kujutage andmeid graafiliselt enne sovitamist. Kahe nihkes pilve koondtõus on hajuvusdiagrammil kohe nähtav, kuid korrelatsioonikordajas nähtamatu. Tööriist regression tool kuvab jäägid kõrvuti sovitusega ning kohakuti asuvad rühmad jätavad sinna eksimatu jälje: jäägid, mis on suured, struktureeritud ja rühmitatud, mitte hajutatud.
Sõnastage enne arvutamist, mis teie arvates mida põhjustas. Kui te ei oska öelda, miks muutuja mudelisse kuulub, ei oska te ka öelda, kas selle arvessevõtmine parandab segava teguri mõju või hävitab toimemehhanismi — ning tagantjärele suudate põhjendada mõlemat valikut, mis ongi ohtlik.
Suhtuge umbusklikult ühteainsasse peamisesse näitajasse, mis on arvutatud ebaühtlaste rühmade üle. Riiklikud keskmised, ettevõtteülesed mõõdikud, agregeeritud trendid: igaüks neist on koondtõus üle pilvede, mis võivad liikuda vastassuunas. Tulemuste pöördumiseks eelseadistuses oli vaja vaid kahte rühma ja ühte korreleeritud muutujat. Tegelikud andmed pakuvad kümneid mõlemaid.