ベイズのビリヤード — 肩越しに投げた豆の謎

豆を1つ投げたところ、隠されたマーカーの左側に落ちた。パネルには0.6667と表示されている。このページの1番目のインサイトブロックには0.7500と書いてある。多くの人が口頭で出す答えは1である。1回中1回が左に落ちたからだ。これら3つはすべて正しい。それぞれはどの問いに答えているのだろうか。

1. まずは設定から説明しよう。この思考実験が有名なのはまさにこの設定のためだ。平らなテーブル上の未知の位置 p にマーカーを目隠しで落とし、その後に投げる豆はそれぞれ確率 p でその左側に落ちるものとする。測定は一切行われず、それぞれの豆は1ビットの情報だけを報告する。ベイズの死から2年後の1763年12月、リチャード・プライスが王立協会でこの論文を読み上げたが、p に対する一様事前分布はモデル化の選択ではなく、マーカーの投げ方に関する物理的事実である。これは言葉から受ける印象以上に稀なことであり、このページの3番目のインサイトブロックでは、他でこのような条件が得られることがいかに滅多にないかを取り上げている。

   $$p\sim \mathrm{Uniform}(0,1),\pi (p)=1\text{for}0\le p\le 1$$

2. 次に証拠（データ）である。n 回の試行のうち k 回が左側に落ちる確率は、p を一切含まない二項係数に p^k(1−p)^n−k を掛けたものとなる。これにフラットな事前分布を掛けて正規化すると、二項係数は約分されて相殺される。

   $$\pi (p\mid k,n)\propto p^k(1-p{)}^{n-k}\cdot 1$$

3. 残るのは、二つの指数にそれぞれ一を加えた値をパラメータとするベータ分布です。一投中一投が左ならBeta(2, 1)。左端でゼロ、右端で2まで上がる直線になります。

   $$p\mid k,n\sim \mathrm{Beta}(k+1,n-k+1)=\mathrm{Beta}(2,1),\pi (p)=2p$$

4. 問い1：マーカーが存在する可能性が最も高いのはどこか？ 密度 2p は右端で最も大きくなるため、最頻値は p = 1 となる。反射的に出た答え k/n = 1 も別の経路を経て同じ場所にたどり着くが、どちらも誰も尋ねていない問いに対する答えである。

   $$\arg \underset{p}{\max }2p=1$$

5. 問い2：マーカーは中央を越えているか？ これは面積にあたるため、積分を行う。Beta(2, 1) の累積分布関数は p² なので、二分の一を超える確率は 1 − ¼ となる。これが1番目のインサイトブロックに示されている 0.7500 である。

   $$P\left(p>\frac{1}{2}\right)=1-{\left(\frac{1}{2}\right)}^2=\frac{3}{4}=0.7500$$

6. 問い3：次の豆は左側に落ちるか？ これは p の位置自体についての問いではなく、次に何が起きるかについての問いである。そして、現在 p について判明している全信念にわたって p を平均化する。その平均値こそが事後平均である。

   $$P(\text{next left})={\int }_0^{1}p\cdot \pi (p)dp=\frac{k+1}{n+2}$$

7. n = 1 かつ k = 1 の場合、平均値は3分の2となる。ラプラスは1774年の論文でこれを導出し、それ以来「継承の法則」と呼ばれている。+1 や +2 は小標本のための適当な補正などではなく、フラットな事前分布に対して積分を行った結果として得られる正確な値である。

   $$\frac{k+1}{n+2}=\frac{1+1}{1+2}=\frac{2}{3}=0.6667$$

8. ツールのどこにも表示されない、もう一つの値があります。中央値は1/√2で、平均値と最頻値の間に位置します。並びは平均値、中央値、最頻値です。このツールで得られる事後分布はすべてベータ分布で、右上がりのベータ分布では三つの代表値が必ずこの順に並びます。証拠が集まって曲線が集中するにつれ、互いの隔たりも再び縮まります。左右の投数が釣り合えば、三つは同じ位置に重なります。

   $$\text{mode }1>\text{median }\frac{1}{\sqrt{2}}=0.7071>\text{mean }\frac{2}{3}=0.6667$$

「400回試行 (±5%)」を実行してください。パネルはマーカーの位置を 0.4512 から 0.5488 の間に 95% の信用度で置き、実際のマーカーは 0.4913 にあります。この 95% が近似ではなく厳密であることを示し、そのうえで台が平らでなかったら何が残るのかを求めてください。

1. 誰も数えない一つを含めて、豆をもう一度数えましょう。マーカーは目隠しで台に投げられ、その後の400個も同じでした。401個すべてが同じ肩越しに、同じ平らな面へ落ちています。統計的にマーカーと豆を区別するものは何もありません。違うのは名前だけです。

   $$p,x_1,\dots ,x_{400}\stackrel{\text{iid}}{\sim }\mathrm{Uniform}(0,1)(401\text{ draws, one labelled})$$

2. ですから401個の位置を並べ替えます。マーカーが1番目である確率も、7番目である確率も、最後である確率も等しい。ラベルは順位を変えられないからです。そしてパネルが k と呼ぶ数は、その順位から1を引いたものにすぎません。ツールが表示し得る左の個数は 0 から 400 までの401通りで、そのどれもが確率 1/401 です。コイン投げの回数の分布とは似ても似つかず、積分もそれを裏づけます。二項係数はベータ関数と約分され、n は n + 1 という形でしか残りません。

   $$P(k=j)={\int }_0^1\left(\genfrac{}{}{0ex}{}{n}{j}\right)p^j(1-p{)}^{n-j}dp=(\genfrac{}{}{0ex}{}{n}{j})B(j+1,n-j+1)=\frac{1}{n+1}$$

3. 同じ対称性が区間のほうも決めます。真のマーカー位置をそれ自身の事後分布関数に入れると、結果は単位区間上の一様分布になります。事後分布が p の正直な条件付き法則であるとは、まさにそういう意味です。ですから真の値が 2.5% 点と 97.5% 点の間に入る確率は 0.95 であり、この一文のどこにも近似はありません。10投を10万回シミュレートすると 0.94967 になります。

   $$U=I_p(k+1,n-k+1)\sim \mathrm{Uniform}(0,1)⟹P(0.025<U<0.975)=0.95$$

4. これはどの標本サイズでも成り立ちます。ここは立ち止まる価値のあるところです。400投の区間は幅 0.0976 で、マーカーはその内側にゆったり収まっています。1投の区間は 0.1581 から 0.9874 まであり、ほとんど何も排除していません。それでもまったく同じだけ妥当です。役に立たないことと間違っていることは、別の失敗です。

   $$n=400:[0.4512,0.5488],\text{width }0.0976;n=1:[0.1581,0.9874]$$

5. では、これが乗っている唯一のものを壊してみましょう。台が平らではなく中高で、マーカーが縁のほうへ転がりやすいとします。それでもパネルは一様事前分布から計算し続けます。その真の分布にわたって被覆確率を積分すると、95% という表示は1投後で 68.7%、10投後で 78.7%、100投後で 87.1% の値打ちしかありません。

   $$p\sim \mathrm{Beta}(0.3,0.3),\text{interval still from }\pi (p)=1:0.687,0.787,0.871(n=1,10,100)$$

6. どちら向きに失敗したか、そして証拠がどれほどゆっくりしか直せなかったかに注目してください。データを100倍にして、埋まった隔たりは半分を少し超えた程度です。逆向きに中高の台、つまりマーカーが中央に集まる台なら、区間は今度は広すぎるものになります。99.9%、95.8%、95.1%。効くのは端です。平らな事前分布がいちばん自信を持ち、いちばん外れるのがそこだからです。

   $$p\sim \mathrm{Beta}(6,6):0.999,0.958,0.951$$