Benfordi seaduse uurija

Vali hulk arve ja võrdle nende esimesi numbreid Benfordi seadusega. Seejärel muuda ühikuid ja jälgi, millised andmestikud paigast nihkuvad.

Interaktiivse simulatsiooni laadimine...

Miks on esimene number pea kolmandikul juhtudest 1 🖖

Üheksa numbri esinemise tõenäosus ei ole võrdne. Põhjus on selles, et esimene number ei jaotu ühtlaselt mitte väärtuste, vaid hoopis logaritmide lõikes. 1-st 2-ni jõudmine tähendab kahekordistumist. 8-st 9-ni jõudmine nõuab aga kõigest 12,5% kasvu. Korrutamise teel kasvav suurus veedab seega kuus ja pool korda kauem aega algusnumbriga 1 kui algusnumbriga 9. Lisaks näitab log₁₀(2) = 0,301 täpselt, millise osa suurusjärgust katab vahemik 1-st 2-ni. Iga arv seaduses taandubki üheleainsale arvutusele: log₁₀(1 + 1/d), mis annab 1 puhul tulemuseks 30,1% ja 9 puhul 4,6%.

Muuda ühikuid ja näed, millised andmed üldse alluksid seadusele 🖖

Iga väärtuse läbikorrutamine konstandiga nihutab iga logaritmi täpselt sama palju. Seega jääb andmehulk, mille logaritmid jaotuvad juba algselt ühtlaselt, muutumatuks. Siin saab seda väitmise asemel ise järele proovida. Võtame Fibonacci arvud ja teisendame neid nii, nagu muudaksime sentimeetrid tollideks ning seejärel miilid kilomeetriteks. Tulemuseks on 30,1%, 30,1%, 30,0% ja hii-ruut ei välju kordagi vahemikust 0,03 kuni 0,19. Teeme nüüd sedasama pikkustega. Sentimeetrites algab iga väärtus 1-ga. Tollides algab 86% väärtustest 6-ga ning jalgades algab 96% väärtustest 5-ga. Inimesed on seejuures samad. Üks konks tasub enne proovimist siiski meelde jätta. Kümne astmega korrutamine liigutab vaid komakohta ega tee midagi muud. Seetõttu jätab ×100 iga andmestiku täpselt samasse seisu. See kehtib ka andmestike kohta, mis testi ei läbi. Selles kontrollrühmas on see täiesti tahtlikult.

Ulatuse lõpp peab olema täissuurusjärk, aga pärisandmetega nii ei lähe 🖖

Tavaliselt soovitatakse, et seadus vajab mitme suurusjärgu pikkust andmerida. See soovitus on õige, aga selle põhjendus mitte. Jaotame väärtused logaritmiliselt ühtlaselt täpselt ühe suurusjärgu peale ja need kattuvad seadusega ideaalselt. 1-ga algavaid arve on 30,2% ning hii-ruut viie tuhande väärtuse peale on 11,3. See pole lihtsalt lähendus, sest terve suurusjärgu ulatuses ühtlaselt jaotunud logaritmid ongi definitsiooni järgi Benfordi seadus. Kaks, kolm, neli, kuus ja kümme suurusjärku annavad hii-ruuduks vastavalt 8,1, 5,0, 4,8, 5,2 ja 7,5. Kõik on korras. Määrame nüüd ulatuseks 1,5 suurusjärku. Hii-ruut on 456 ning seadus lükatakse hoobilt tagasi laiemas vahemikus kui see, mis testi läbis. Ülejäänud poole suurusjärgu tõttu loetakse selle väikeseid numbreid topelt ja miski ei tasakaalusta seda. Pärisandmeid päästab hoopis asjaolu, et ulatuse kasvades kaotab jääk oma tähtsuse. Poole suurusjärgu trahv langeb 4707 pealt 0,5 suurusjärgu juures 456 peale 1,5 juures. Seejärel 6,5-ks suurusjärguks kahaneb see väärtustele 191, 101, 57 ja 32. Tõelised mõõtmised ei peatu kunagi kenasti kümne astme juures. Seega annab mitme suurusjärgu kaasamine meile tegelikult kaasa vaid ebakorrapärase lõpu, mis on liiga väike, et midagi muuta.

Ülesanded täielikult lahendatud

  1. Oodatav arv ja hii-ruut panus 24 kulutšekile 200-st 6 sammu

    Audiitor võtab ette 200 kuludokumenti ja avastab, et neist 24 algavad numbriga 1. Kas see on Benfordi seadusega kooskõlas? Arvuta välja oodatav kogus, selle ainsa numbri panus hii-ruudu väärtusesse ja mis peaks juhtuma terve testiga, enne kui selle pinnalt mingeid järeldusi teha saaks.

    1. Alusta sellest, mida seadus eeldab. Tõenäosus, et arv algab 1-ga, on log₁₀(1 + 1/1) = log₁₀ 2 = 0,30103. Seega on 200 dokumendi peale oodatav kogus 0,30103 × 200.

    2. See teeb 60,2 dokumenti. Audiitor leidis neid aga 24. Puudu jääb 36,2 dokumenti ning see puudujääk on numbris, mis peaks seaduse kohaselt pika puuga kõige levinum olema.

    3. Hii-ruut lisab iga numbri kohta ühe liikme kujul (vaadeldud − oodatud)² ÷ oodatud. Esimese numbrina esineva 1 puhul on see liige (24 − 60,21)² ÷ 60,21.

    4. (−36,21)² on 1310,9 ning jagamine 60,21-ga annab 21,77. Kogu testil on kaheksa vabadusastet ja selle 5% kriitiline väärtus on 15,507. Juba see üksik number üksi on lükanud statistiku üle tagasilükkamise piiri.

    5. See tähendab, et arvutustega on ühel pool, aga järelduste tegemisega mitte. Hii-ruut kasvab koos valimiga. Samad proportsioonid 2000 dokumendi juures annaksid kümme korda suurema liikme. Nii võib suur ja aus andmestik kukkuda testis läbi kõrvalekalde tõttu, mida keegi ei nimetaks pettuseks. Just sel põhjusel viitavad audiitorid hoopis keskmisele absoluuthälbele, mis ei kasva koos n-iga.

    6. Aus järeldus on, et nende 200 hüvitamistaotluse esinumbrite jaotus ei vasta Benfordi seaduse ennustusele. Millele see viitab, ei saa numbrite põhjal otsustada: ettevõttes, kus kinnitamispiir on 999 £, tekib suur hulk üheksaga algavaid summasid täiesti süütul põhjusel. Sama juhtub ka siis, kui hüvitist makstakse kindla päevamäära alusel.

    Vastus

    Oodatav hulk on 60,2 dokumenti, mis algavad 1-ga. Reaalselt leiti neid 24. See number üksi lisab statistikule 21,77 ning statistiku 5% kriitiline väärtus on 15,507. Test lükkab andmed tagasi. Tagasilükkamine pole aga veel avastamine. Benfordi seadus on filter, mis näitab audiitorile, kuhu vaadata. Iga avaldatud juhtum selle kasutamisest taolises rollis, alates Mark Nigrini maksualastest töödest 1990. aastatel, käsitleb testi põrumist põhjusena kausta avamiseks, mitte lõpliku avastusena iseeneses. Tööriist kuvabki keskmist absoluuthälvet hii-ruudu kõrval just sel põhjusel. Vaheta andmestik 5000 peale ja jälgi, kuidas hii-ruut muudkui kasvab, samas kui hälve vaevu liigub.

  2. Hii-ruut 0,2, ja miks just see on kahtlane 6 sammu

    Laadi eelseadistus Fibonacci. Hii-ruut näitab 0,2, kui 5% kriitiline väärtus on 15,507, nii et jada läbib testi mängleva kergusega. Arvuta välja, kui tõenäoline on niivõrd hea kokkulangevus, ja otsusta seejärel, mida peaks väga väike hii-ruut audiitorile ütlema.

    1. Võrdle kõigepealt loendeid. Tuhat Fibonacci arvu paigutavad 1-ga algavate lahtrisse 301 väärtust, kui seadus ootab 301,03, ja suurim erinevus üheksast lahtrist on numbri 7 juures: 56 vaadeldut 57,99 oodatu vastu. Lähedane pole siin õige sõna. See on peaaegu täpne.

    2. Kaheksa vabadusastmega hii-ruudu keskväärtus on 8 ja standardhälve 4. Kaart ümardab 0,2-ni, tegelik väärtus selle taga on 0,1695, ja see jääb kaks standardhälvet allapoole sellise statistiku keskväärtust, mis nullist väiksem olla ei saagi.

    3. Alumisel sabal on siin kinnine kuju, sest kaheksa vabadusastet tõmbab mittetäieliku gammafunktsiooni nelja liikme peale kokku. Tabelit pole vaja.

    4. Pane 0,1695 sisse ja välja tuleb 2,0 × 10⁻⁶. Umbes üks valim poolest miljonist sobitub seadusega nii hästi. Vaheta andmestik sama suure logaritmiliselt ühtlase jaotuse vastu, mis on juhuslikult tõmmatud mehhanism ise, ja kaart näitab 5,6.

    5. Seletus on lihtne: Fibonacci arvud polnud kunagi valim. log₁₀ Fₖ on k log₁₀ φ miinus konstant, seega otsustavad esinumbrid ära arvu 0,2089876… kordsete murdosad, ja see arv on irratsionaalne. Weyl tõestas 1916. aastal, et selline jada laotub ühtlaselt laiali.

    6. Ja laotub ühtlasemalt, kui juhuslikkus hakkama saab. Sellise pöörde jäetud lüngad kahanevad nagu log N üle N, samas kui N juhuslikku tõmmet jätavad lünki suurusjärgus 1/√N, ning hii-ruut käib nagu N korda selle lünga ruut. Tuhat determineeritud liiget löövad seetõttu tuhandet juhuslikku suure varuga, ja 0,17 ongi see, milline niisugune varu välja näeb.

    Vastus

    Umbes üks 500 000-st mis tahes juhusliku mudeli järgi, mis teeb sellest kokkulangevusest tõendi, et neid andmeid pole üldse valimina kogutud. Hii-ruudu test küsib ühte asja: kas andmed on seadusest kaugemal, kui juhus lubab? Öelda, et andmed on liiga lähedal, ei ole tal mingit võimalust, ja otsuse rida on 0,17 juures täpselt seesama mis 8 juures.

    Audiitori jaoks pöörab see tavapärase lugemise pea peale. Pearaamat, mis langeb Benfordiga kokku kahe kümnendkoha täpsusega, on hädas, ja see on seesama häda, mille R. A. Fisher tõstis 1936. aastal üles Mendeli hernevaatluste kohta: kokkulangevus teooriaga oli parem, kui valimi võtmine üldse tekitada suudab. Keegi, kes on Benfordi seadusest lugenud ja numbrid selle järgi genereerib, jätab täpselt sellise jälje, ja seda on lihtsam märgata kui pettust, mille tarvis test ehitati. Ausad raamatupidamised saabuvad päris valimi sakiliste servadega, tuhat Fibonacci arvu aga mitte.

Allikad (3)

Näiteülesanded

  • Fibonacci - Esimene tuhat Fibonacci arvu. Neist 30,1% algab 1-ga ja hii-ruut on 0,2. Tuhande arvu puhul on see seadusele peaaegu nii lähedal, kui üldse olla saab. Midagi ei ole sobitatud. Jada on täpselt selline, nagu on.
  • Pikkused, cm - Kahe tuhande täiskasvanu pikkused sentimeetrites. Eranditult igaüks neist algab 1-ga, sest täiskasvanud on umbes 145 cm ja 195 cm pikad ning selles vahemikus ei alga ükski arv millegi muuga. See on suurim võimalik kõrvalekalle. Tegemist pole napi möödalasuga.
  • Samad pikkused tollides - Seesama kaks tuhat inimest, aga mõõdetuna tollides. Nüüd algab 86% väärtustest 6-ga. Inimesed jäid samaks ja nende pikkused samuti. Muutus ainult ühik ning selles kogu test seisnebki.
  • Väljamõeldud arvud - Tuhat arvu, mille pakuvad välja inimesed, kui paluda neil mõned arvud välja mõelda. Numbrid jaotuvad üsna ühtlaselt ning 1 valitakse kõige harvemini. Hii-ruut on 502. Just seetõttu kasutatakse seda testi kuludokumentide kontrollimisel.
  • Pool suurusjärku - Viis tuhat väärtust, mis jaotuvad ühtlaselt üle poole suurusjärgu ehk 1-st kuni umbes 3,2-ni. Neist 61% algab 1-ga ning hii-ruut on 4707. Laienda ulatust tervele suurusjärgule ning sama generaator järgib seadust ideaalselt. Suurenda ulatust 1,5-ni ja test põrub uuesti. See on aga osa, millest keegi ei räägi.