ベンフォードの法則エクスプローラー

数値の集合を選び、その先頭数字をベンフォードの法則と比較してください。次に単位を変更して、どのデータセットの分布が変化するかを観察しましょう。

インタラクティブシミュレーションを読み込んでいます...

先頭数字が1になる確率が約3分の1である理由 🖖

9つの数字が現れる確率が均等にならないのは、先頭数字がに対して均等に分布しているわけではなく、対数に対して均等に分布しているからです。1から2になるということは2倍になることを意味します。8から9になるということは12.5%の増加です。したがって、掛け算によって増加する量は、先頭数字が9である期間に比べて、先頭数字が1である期間が6.5倍長く続きます。そして log₁₀(2) = 0.301 は、1桁の幅の中で1から2までの区間が占める割合そのものです。この法則におけるすべての数値は、単一の計算式 log₁₀(1 + 1/d) によって求められます。これにより、1の場合は30.1%、9の場合は4.6%という値が導かれます。

単位を変更し、どのデータが最初から法則に従う性質を持っていたかを確認する 🖖

すべての値に定数を掛けるという操作は、すべての対数を同じ量だけずらすことになります。そのため、対数がすでに均等に分布している集合は変化しません。これは単に主張するだけでなく、ここで実際に検証できます。フィボナッチ数列を例にとり、センチメートルからインチへ、さらにマイルからキロメートルへと変換するように値を変更してみてください。1から始まる割合は30.1%、30.1%、30.0%となり、カイ二乗値が0.03から0.19の範囲を外れることはありません。今度はこれを身長のデータで試してみましょう。センチメートルではすべての値が1から始まりますが、インチでは86%が6から始まり、フィートでは96%が5から始まります。測っている人は同じです。試す前に知っておくべき注意点が一つあります。10の累乗を掛けても小数点の位置が移動するだけで他の変化は起きません。したがって、×100を実行しても、法則から外れたものも含めてすべてのデータセットの分布はまったく変わりません。これは比較対照のためにわざと用意してあります。

データの範囲はちょうど桁の境界で終わる必要があるが、現実のデータがそうなることはない 🖖

この法則には数桁にまたがるデータが必要だ、というのがよくあるアドバイスです。そのアドバイス自体は正しいのですが、理由が間違っています。対数スケール上で正確に1桁分に均等に値を広げると、データは法則に完全に一致します。五千個の値で計算すると、1から始まる割合は30.2%、カイ二乗値は11.3になります。これは近似ではありません。1桁全体にわたって対数が一様であれば、それは定義上ベンフォードの法則に従うからです。これを2桁、3桁、4桁、6桁、10桁にすると、カイ二乗値はそれぞれ8.1、5.0、4.8、5.2、7.5になります。どれも問題ありません。では、この範囲を1.5桁に設定してみましょう。するとカイ二乗値は456となり、合格したときよりも広い範囲であるにもかかわらず、法則は完全に棄却されます。余分にはみ出した半桁分のせいで小さな数字が2回カウントされてしまい、それと釣り合うものが何もないからです。実際のデータを救っているのは、範囲が広がるにつれてこの余分な部分の影響が薄れていくという事実です。半桁分がもたらすペナルティは、0.5桁のときの4,707から、1.5桁で456、その後は範囲が6.5桁になるまでに191、101、57、32へと減少していきます。実際の測定値が10の累乗で綺麗に終わることは決してありません。つまり、数桁にまたがることの本当の利点は、中途半端な端数の影響が無視できるほど小さくなることなのです。

全プロセスの詳細解説

  1. 200件中24件の経費精算に対する期待度数とカイ二乗寄与度 6 ステップ

    監査役が200件の経費精算書を抽出したところ、そのうちの24件が数字の1から始まっていることがわかりました。これはベンフォードの法則と整合するでしょうか。期待される件数、その数字単独でのカイ二乗値への寄与、そして何らかの行動を起こす前にテスト全体として何が必要になるかを計算してください。

    1. まず、法則から期待される値を求めます。先頭数字が1である確率は log₁₀(1 + 1/1) = log₁₀ 2 = 0.30103 です。したがって、200件の精算書に対する期待件数は 0.30103 × 200 となります。

    2. 計算すると 60.2 件になります。監査役が見つけたのは 24 件でした。その差は 36.2 件ですが、これは法則が圧倒的に最も多いはずだと予測している数字での不足なのです。

    3. カイ二乗は数字ごとに項を足し合わせます。それぞれの項は (観測値 − 期待値)² ÷ 期待値 で求められます。先頭数字が1の場合、この項は (24 − 60.21)² ÷ 60.21 となります。

    4. (−36.21)² は 1,310.9 になり、これを 60.21 で割ると 21.77 が得られます。テスト全体の自由度は8であり、有意水準5%の棄却限界値は 15.507 です。つまり、この数字一つの結果だけで、統計量はすでに単独で棄却域に達していることになります。

    5. これは、計算は終わったものの、推論はまだ終わっていないことを意味します。カイ二乗値はサンプル数に比例して大きくなります。もし2,000件の精算書で同じ割合の不足が出た場合、その項は10倍の大きさになります。そのため、大規模で不正のないクリーンなデータセットであっても、誰も詐欺とは呼ばないようなわずかなズレでテストに落ちてしまう可能性があるのです。これこそが、監査役がサンプルサイズ n とともに増大しない平均絶対偏差を代わりに引用する理由です。

    6. 率直に読めば、この200件の申請に見られる先頭数字の分布は、ベンフォードの法則による予測と一致していません。ただし、それが何の証拠なのかは、数字だけでは判断できません。たとえば、承認基準額を£999に設定している会社では、何ら不自然な事情がなくても先頭に九が集中します。日額を一律に定めて精算する会社でも同じことが起こります。

    解答

    1から始まる精算書の期待件数は 60.2 件ですが、実際には 24 件でした。この数字単独で 21.77 という値を統計量にもたらしますが、5%水準の棄却限界値は 15.507 です。したがってテスト結果は棄却となりますが、棄却と不正の検出は同じではありません。ベンフォードの法則は監査役にどこを見るべきかを示すフィルターであり、1990年代のマーク・ニグリーニによる税務調査以降、その役割について発表されたすべての事例において、不適合はあくまでファイルを調査するきっかけとして扱われており、結論として扱われているわけではありません。このツールがカイ二乗値の横に平均絶対偏差を表示しているのはまさにそのためです。データセットのサイズを5,000に変更してみれば、偏差はほとんど動かないのにカイ二乗値だけが跳ね上がるのを確認できるでしょう。

  2. カイ二乗0.2、そしてなぜそれこそが疑わしいのか 6 ステップ

    フィボナッチ数列のプリセットを読み込んでください。カイ二乗値は0.2、有意水準5%の棄却限界値は15.507ですから、この数列は余裕をもってテストを通過します。これほど良い適合がどれほど起こりにくいことなのかを計算し、そのうえで、きわめて小さいカイ二乗値が監査役に何を告げているのかを判断してください。

    1. まず度数を見比べます。1,000個のフィボナッチ数のうち先頭が1のものは301個で、法則の予測は301.03個です。九つの区分で最も食い違いが大きいのは数字の7で、観測56に対して期待57.99。近いという水準ではありません。ほぼ完全な一致です。

    2. 自由度8のカイ二乗分布は、平均が8、標準偏差が4です。カードの表示は0.2ですが、その背後にある値は0.1695であり、ゼロより下には行けない統計量の平均から、標準偏差二つ分も下に位置しています。

    3. ここでの下側確率には閉じた式があります。自由度が8なら不完全ガンマ関数は四項に収まるからです。数表は要りません。

    4. 0.1695を代入すると 2.0 × 10⁻⁶ が得られます。これほど法則に合うサンプルは、およそ50万回に1回です。同じ規模のまま、データセットを対数的に均等な分布、つまり法則を生む仕組みそのものを無作為に引いたものに切り替えてみてください。カードは5.6を示します。

    5. 理由は、フィボナッチ数がそもそもサンプルではなかったことにあります。log₁₀ Fₖ は k log₁₀ φ から定数を引いたものですから、先頭数字を決めるのは 0.2089876… の倍数の小数部分であり、この数は無理数です。こうした数列が一様に散らばることは、ワイルが1916年に証明しました。

    6. しかも、無作為が達成できる以上に均等に散らばります。この種の回転が残す隙間は log N / N のように縮みますが、N回の無作為な抽出が残す隙間は 1/√N の程度で、カイ二乗は N とその隙間の二乗の積のように振る舞います。決定論的な1,000項が無作為な1,000項に大差をつけるのはそのためで、0.17 とはその差の見え方なのです。

    解答

    どんな無作為モデルのもとでも約50万分の1。つまりこの適合の良さは、このデータがそもそも標本ではなかったという証拠になります。カイ二乗検定が問えるのは一つだけです。データは偶然が許す以上に法則から離れているか。近すぎると告げる手立ては持っておらず、判定の行は0.17でも8でも同じ文言を出します。

    監査役にとっては、これで読み方が反転します。小数点以下二桁までベンフォードに一致する帳簿は、それ自体が問題を抱えています。R・A・フィッシャーが1936年にメンデルのエンドウのデータについて指摘したのと同じ問題で、理論との一致が、標本抽出では起こりえないほど良すぎたのです。ベンフォードの法則を読んだ人物がそれに従って数字を作れば、この痕跡が残ります。しかもそれは、検定が本来狙っていた不正よりも見つけやすいのです。正直な帳簿は現実の標本らしいギザギザした縁を持って届きますが、1,000個のフィボナッチ数はそうではないからです。

参考文献 (3)

例題

  • フィボナッチ数列 - 最初の千個のフィボナッチ数です。1から始まる割合は30.1%で、カイ二乗値は0.2。これは千個の数値データとして、法則に限りなく近い値です。何も調整はしていません。数列がそのままの姿でこの性質を持っています。
  • 身長(cm) - センチメートルで測った、二千人の成人の身長です。値はすべて1から始まります。なぜなら、成人の身長はおよそ145 cmから195 cmの間にあり、その範囲の数はすべて1から始まるからです。これは法則からのわずかなズレなどではなく、起こり得る最大の乖離です。
  • 同じ身長(インチ) - 先ほどと同じ二千人を、今度はインチで測ったデータです。すると今度は86%が6から始まります。人もその身長も変わっていません。変わったのは単位だけであり、これこそがこの検証の肝です。
  • 人が思いつきで作った数 - 人に適当な数を挙げてもらったときの、千個の数値です。数字はかなり均等に散らばりますが、1は最も選ばれにくくなっています。カイ二乗値は502です。経費精算の不正チェックにこの手法が使われるのはこのためです。
  • 0.5桁分の幅 - 対数スケールにおける半桁の範囲(1から約3.2まで)に、均等に分布する五千個の値です。61%が1から始まり、カイ二乗値は4,707になります。この範囲をちょうど1桁分に広げると、同じ生成方法でも法則に完全に一致します。しかし1.5桁分に広げると再び法則から外れます。この事実はあまり語られません。