Bayes' Billard — Die Bohne über deiner Schulter

Werfen Sie eine einzelne Bohne; sie landet links vom verborgenen Marker. Das Anzeigefeld meldet 0,6667. Der erste Infoblock auf dieser Seite nennt 0,7500. Die Antwort, die die meisten Menschen spontan geben, lautet 1, weil eine von einer Bohne links gelandet ist. Alle drei Antworten sind korrekt. Welche Frage beantwortet jede davon?

1. Zunächst zum Aufbau, denn dieser ist der Grund, warum dieses spezielle Gedankenexperiment so berühmt ist. Ein Marker wird blind auf eine ebene Tischfläche an einer unbekannten Position p platziert, und jede spätere Bohne landet mit der Wahrscheinlichkeit p zu seiner Linken. Es wird nie etwas gemessen; jede Bohne liefert genau ein Bit Information. Richard Price verlas die Abhandlung im Dezember 1763 vor der Royal Society, zwei Jahre nach Bayes' Tod, und die gleichmäßige Prior-Verteilung für p ist hier eine physikalische Tatsache bezüglich des Markerwurfs und keine bloße Modellierungsentscheidung. Das ist seltener, als es klingt, und der dritte Infoblock auf dieser Seite handelt davon, wie selten man so etwas woanders antrifft.

   $$p\sim \mathrm{Uniform}(0,1),\pi (p)=1\text{for}0\le p\le 1$$

2. Die Evidenz. Bei n Würfen k-mal „links“ zu erhalten, hat die Wahrscheinlichkeit p^k(1−p)^n−k, multipliziert mit einem Binomialkoeffizienten, der überhaupt kein p enthält. Multipliziert man dies mit der flachen Prior-Verteilung und normalisiert anschließend, kürzt sich der Koeffizient heraus.

   $$\pi (p\mid k,n)\propto p^k(1-p{)}^{n-k}\cdot 1$$

3. Übrig bleibt eine Beta-Verteilung, deren beide Parameter jeweils um eins größer sind als diese Exponenten. Ein linker Treffer bei einem Wurf ergibt Beta(2, 1), also eine Gerade: Am linken Rand beginnt sie bei null und steigt bis auf 2 am rechten Rand.

   $$p\mid k,n\sim \mathrm{Beta}(k+1,n-k+1)=\mathrm{Beta}(2,1),\pi (p)=2p$$

4. Frage eins: Wo befindet sich der Marker am wahrscheinlichsten? Die Dichte 2p ist am rechten Rand am größten, somit liegt der Modus bei p = 1. Die spontane Antwort k/n = 1 gelangt auf anderem Weg zum selben Ergebnis, und beide sind Antworten auf eine Frage, die niemand gestellt hat.

   $$\arg \underset{p}{\max }2p=1$$

5. Frage zwei: Liegt der Marker jenseits der Mitte? Das ist eine Fläche, also integrieren wir. Die Verteilungsfunktion von Beta(2, 1) lautet p², sodass die Masse oberhalb von ein Halb 1 − ¼ beträgt. Das ist die 0,7500 im ersten Infoblock.

   $$P\left(p>\frac{1}{2}\right)=1-{\left(\frac{1}{2}\right)}^2=\frac{3}{4}=0.7500$$

6. Frage drei: Wird die nächste Bohne links landen? Hier geht es gar nicht darum, wo p liegt – sondern darum, was als Nächstes geschieht, und es mittelt p über alles, was man nun über p annimmt. Dieser Mittelwert ist der Posterior-Mittelwert.

   $$P(\text{next left})={\int }_0^{1}p\cdot \pi (p)dp=\frac{k+1}{n+2}$$

7. Für n = 1 und k = 1 beträgt der Mittelwert zwei Drittel. Laplace leitete dies 1774 in einer Abhandlung her, und man nennt es seither die Sukzessionsregel. Das +1 und +2 sind kein Trick für kleine Stichproben; sie ergeben sich exakt beim Integrieren gegen eine flache Prior-Verteilung.

   $$\frac{k+1}{n+2}=\frac{1+1}{1+2}=\frac{2}{3}=0.6667$$

8. Hinzu kommt eine vierte Zahl, die das Werkzeug nirgends anzeigt. Der Median liegt bei 1/√2, zwischen Erwartungswert und Modalwert, und zwar in dieser Reihenfolge. Jede A-posteriori-Verteilung, die dieses Werkzeug erzeugen kann, ist eine Beta-Verteilung. Ist sie nach rechts geneigt, liegen ihre drei Lagemaße genau in dieser Reihenfolge; mit zunehmender Datenmenge und stärkerer Konzentration der Kurve schrumpfen die Abstände wieder. Verteile die Würfe gleichmäßig, dann fallen alle drei zusammen.

   $$\text{mode }1>\text{median }\frac{1}{\sqrt{2}}=0.7071>\text{mean }\frac{2}{3}=0.6667$$

Lass die Voreinstellung mit 400 Würfen laufen. Das Feld setzt den Marker mit 95 % Glaubwürdigkeit zwischen 0,4512 und 0,5488, und der Marker liegt tatsächlich bei 0,4913. Zeig, dass die 95 % exakt sind und nicht genähert, und rechne dann aus, was davon übrig bleibt, wenn der Tisch nicht eben ist.

1. Zähl die Bohnen noch einmal, samt derjenigen, die niemand anschaut. Der Marker wurde blind auf den Tisch geworfen und die 400 danach auch; alle 401 kamen über dieselbe Schulter auf dieselbe ebene Fläche. Es gibt nichts Statistisches, was den Marker von einem Wurf unterscheidet. Er hat nur einen Namen.

   $$p,x_1,\dots ,x_{400}\stackrel{\text{iid}}{\sim }\mathrm{Uniform}(0,1)(401\text{ draws, one labelled})$$

2. Nimm also die 401 Positionen und sortiere sie. Der Marker ist gleich wahrscheinlich der erste, der siebte oder der letzte, weil ein Etikett keinen Rang ändern kann, und die Zahl, die das Feld k nennt, ist nichts als sein Rang minus eins. Jede Links-Zählung, die das Werkzeug ausgeben kann, alle 401 von 0 bis 400, hat die Wahrscheinlichkeit 1/401. Und so sieht eine Zählung von Münzwürfen nicht aus, was das Integral bestätigt: Der Binomialkoeffizient kürzt sich gegen die Betafunktion, und n fällt heraus, bis auf n + 1.

   $$P(k=j)={\int }_0^1\left(\genfrac{}{}{0ex}{}{n}{j}\right)p^j(1-p{)}^{n-j}dp=(\genfrac{}{}{0ex}{}{n}{j})B(j+1,n-j+1)=\frac{1}{n+1}$$

3. Dieselbe Symmetrie entscheidet auch das Intervall. Füttere die wahre Markerposition in ihre eigene Verteilungsfunktion, und das Ergebnis ist gleichverteilt auf dem Einheitsintervall — genau das heißt es, dass eine A-posteriori-Verteilung das ehrliche bedingte Gesetz von p ist. Die Chance, dass die Wahrheit zwischen dem 2,5-%- und dem 97,5-%-Quantil liegt, beträgt also 0,95, und in diesem Satz steckt nirgends eine Näherung. Zehn Würfe hunderttausendmal zu simulieren ergibt 0,94967.

   $$U=I_p(k+1,n-k+1)\sim \mathrm{Uniform}(0,1)⟹P(0.025<U<0.975)=0.95$$

4. Es gilt bei jedem Stichprobenumfang, und das ist der Teil, bei dem innezuhalten sich lohnt. Das Intervall aus 400 Würfen ist 0,0976 breit, und der Marker sitzt bequem darin. Das Intervall aus einem Wurf reicht von 0,1581 bis 0,9874 und schließt fast nichts aus, und es ist exakt genauso gültig. Nutzlos zu sein und falsch zu sein sind verschiedene Arten des Versagens.

   $$n=400:[0.4512,0.5488],\text{width }0.0976;n=1:[0.1581,0.9874]$$

5. Brich nun das Einzige, worauf es ruht. Nimm an, der Tisch sei nicht eben, sondern gewölbt, sodass der Marker zu einer Bande hin rollt, während das Feld weiter aus einer gleichverteilten Prior-Verteilung rechnet. Integriert man die Überdeckung über diese wahre Verteilung, ist das Etikett 95 % nach einem Wurf noch 68,7 % wert, nach zehn 78,7 %, nach hundert 87,1 %.

   $$p\sim \mathrm{Beta}(0.3,0.3),\text{interval still from }\pi (p)=1:0.687,0.787,0.871(n=1,10,100)$$

6. Achte darauf, in welche Richtung es versagt hat und wie langsam die Daten es reparierten. Das Hundertfache an Daten schloss gut die Hälfte der Lücke. Und ein andersherum gewölbter Tisch, einer, der den Marker zur Mitte hin sammelt, lässt das Intervall stattdessen zu breit: 99,9 %, 95,8 %, 95,1 %. Es sind die Ränder, die wehtun, weil eine gleichverteilte Prior-Verteilung dort am zuversichtlichsten und am falschesten ist.

   $$p\sim \mathrm{Beta}(6,6):0.999,0.958,0.951$$