較正：90%の確率で起こると言い、実際に90%の確率で起こること

正確であることと較正されていることは異なるスキルですが、大抵の人は片方しか確認しません。下のダイヤルは予測者の発言を変化させますが、実際に起きた出来事は変えません。したがって、表示されるスコアはすべて同じ200の事象に対するものです。

計算例 — 較正：90%の確率で起こると言い、実際に90%の確率で起こること

ブライアスコア	0.1934
信頼性（低いほど良い）	0.0219
分解能（高いほど良い）	0.0718
不確実性（誰にも変えられない）	0.2458
これら三つの再結合	0.1959
完璧な予測者の分解能	0.0718
完璧な予測者との比較	100.0%
平均予測 − 結果の割合	-0.0671

ページを開いたときに計算機が表示する値です。上の入力を変えると再計算されます。

インタラクティブシミュレーションを読み込んでいます...

レッスン

理論 — 較正：90%の確率で起こると言い、実際に90%の確率で起こること

予測で70%の確率で起きるとされた事象が、実際に約70%の頻度で起きるとき、その予測は較正されていると言えます。これは予測の集まり全体が持つ性質です。一つひとつの予測について語るものではありません。予測確率と実際の結果との平均二乗誤差であるブライアスコアで評価を行いましょう。スコアは三つの要素に分解されます。B = reliability − resolution + uncertainty です。信頼性（reliability）は、各予測グループが実際の発生率からどれだけずれているかを示します。分解能（resolution）は、その発生率が全体の基準率からどれほど離れているか。そして不確実性（uncertainty）は、予測者ではなく、世界そのものに帰属する性質です。

各記号の意味

p: 予測者が提示した確率
o: 実際に起きた結果（1 または 0）
B: ブライアスコア。すべての予測にわたる (p − o)² の平均

前提: 同じビンに分類された事象が、互いに交換可能であること。つまり、0.7の予測をすべてひとまとめにして結果を集計することが、公平な検証になるという前提です。これはビンによる集計が暗黙のうちに依存している仮定です。まったく異なる二種類の事象に対して0.7と予測する人が、そのどちらの事象に対しても無力であるにもかかわらず、計算上は較正されているように見えてしまうのはこのためです。

二つの平均を比較しても、ほとんど何もわからない 🖖

予測者を評価する最も単純な方法は、発言の平均をとり、それがどれくらいの頻度で起きたかと比較することです。最後のプリセットを読み込んで試してみてください。60の事象において、予測者は常に真の確率を正確に述べています。結果の割合が0.4167であるのに対し、平均予測は0.5283です。完全に誠実な予測者であるにもかかわらず、表面上は11ポイントの自信過剰が存在することになります。しかも、彼らの分解能は同じ事象において完璧な予測者が到達する値の100.0%です。さて、最初のプリセットに戻りましょう。同じ予測者による200の事象です。差は−0.0671となり、逆の傾向を示しています。56種類のサンプルサイズにわたって、誠実な予測者の差の平均は0.0242であり、最悪の場合は0.1116に達します。一方、極端に自信過剰な予測者の平均は0.0425です。これら二つの範囲はほぼ完全に重なっています。信頼性図が存在する理由は、全体の平均ではビンのように詳細を見ることができないからです。全体平均は、90%という主張と10%という主張を足し合わせて、その中間を報告してしまうのです。

完全に較正され、無価値となる二つのケース、その正反対の理由 🖖

確信度を0に設定してください。すべての予測が基準率になり、信頼性は正確に0.0000、分解能も正確に0.0000となります。そしてブライアスコアは、最後の桁まで不確実性と一致します。この予測者は厳密な意味で完全に較正されています。つまり、56.5%と予測すれば56.5%の頻度で事象が起こります。しかし、すべての事象に対して同じことを言っているため、あなたには何も情報を与えていません。次に知るべきことはないをクリックしてください。これは200回のコイントスに対する誠実な予測者ですが、スコアシートには先ほどと同じ二つのゼロが並びます。数値は同じでも、診断結果は正反対です。これらを隔てているのは、現実の予測者には決して計算できない、このページ上のたった一つの数値です。それは完璧な予測者が到達する分解能であり、予測可能な事象では0.0718ですが、コイントスでは0.0000となります。この数値がなければ、分解能が0であることは「何も付加価値を与えなかった」ことを意味するだけで、それが誰の責任なのかを判断することはできません。

較正の誤差はビンの選び方に依存する 🖖

他の設定はそのままにして、ビン数を4から20までドラッグしてみてください。400回の誠実な予測に対する信頼性は、0.0023から0.0124まで変化します。予測自体はまったく変わっていないにもかかわらず、五倍以上の開きがあります。次に確信度を3に上げて、再びビン数をドラッグしてください。今度は0.0334から0.0491となり、その差は1.47倍です。この依存性が最も強くなるのは、まさにその数値を最も信頼したい場所においてです。なぜなら、真の較正誤差がゼロに近いとき、測定されているもののほとんどはビンの分け方にすぎないからです。ビンが少ないと広い帯の中に変動が隠れてしまい、ビンが多いと四つの予測を一つのバケットに入れただけで、0と1の間の距離を何らかの発見であるかのように扱ってしまいます。どんなビン数でも信頼性が千分の一すら動かない予測者がただ一人存在します。それは、確信度がゼロで、すべての事象に対して基準率を答えた予測者です。

全プロセスの詳細解説

スコアは、予測を少し控えめにするべきだと示唆しています。それを信じるべきかどうか考えてみてください。 誠実な予測者から始めて、確信度のダイヤルを1をまたぐようにゆっくりと動かし、下部のパネルでブライアスコアを観察します。

この問題をツールで開く
1. ブライアスコアは (予測 − 結果)² の平均であるため、低いほど良く、0が完璧です。いくつかの設定で値を読み取ってみてください。両側から1に近づくにつれてスコアは下がります。これは誠実さが最適である場合に期待される形状です。
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. しかし、底の付近をより注意深く見てください。これら200の事象において、最小値は1にはありません。ダイヤル全体を0.05刻みで動かすと、最も良いスコアは k = 0.80 のときであり、誠実な予測の0.1934に対して0.1916となります。事象をまれに切り替えると、この値は0.75になります。すべての予測を基準率に向かって控えめにする方が、真実を語るよりも良いスコアを出してしまうのです。
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. これは警戒すべき事態です。なぜなら、ブライアスコアはプロパーな（真実を語ることで期待スコアが最大化される）スコアリングルールだからです。控えめな予測が勝つのであれば、ルールがプロパーでないか、何か別のことが起きているかのどちらかです。
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. サンプルサイズを変更して、もう一度ダイヤルを動かしてみてください。最も良いスコアを出すkは移動します。どのサイズでも0.85になるわけではなく、変動するのです。50から600までの56種類のサンプルサイズにわたって、最適なkの平均は予測可能な事象で0.968、まれな事象で1.021となります。そして、1を下回る回数が30回、上回る回数が26回という結果になります。
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. そして、その勝者が実際にどれだけの利益をもたらすか測ってみてください。先ほどと同じ条件での平均をとると、最適なkが誠実な予測を上回る幅は、予測可能な事象においてブライアスコアの0.39%、まれな事象においては0.85%です。控えめにする完璧な度合いを見つけ出したことへの見返りは1パーセント未満であり、しかも、確認するたびに控えめにするべき量は変化するのです。
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
解答

いいえ。サンプル上で最も良いスコアを出したkは、1の周囲に散らばるノイズにすぎず、誠実な予測を上回る幅も1パーセントに満たないものです。 このスコアリングルールは、まさに設計された通りの働きをしています。期待値においては誠実さが最適であり、一度しか測定されない他のあらゆるものと同様に、有限の履歴はその期待値の周りで揺れ動くのです。すでに起きた事象に対して最も良いスコアを出した値をもとに確信度を選ぶことは、スコアリングルールを一つの過去の履歴に過剰適合させていることになります。これは、単一のホールドアウト検証データでの誤差を最小化したという理由で多項式の次数を選ぶことと、見かけが違うだけで同じ間違いです。そして、その防衛策も同じです。重要なのは「昨年どのスコアが最も良かったか」ではなく「平均してどのスコアが最も良くなるか」であり、一年のデータではそれに答えることはできません。だからこそ、予測者の実績は数十年にわたるデータで語られるのであり、スコアの損失量ではなく較正のズレがどこにあるのかを示す信頼性図の方が、単一のスコアよりも小さなサンプルの影響に耐えうるのです。

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

学習の道すじ

データへの直線当てはめ

参考文献 (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

42Math チーム · 公表された資料と照合しています。訂正のご指摘を歓迎します。