Kalibrierung: 90 % vorhersagen und in 90 % der Fälle richtigliegen

Präzision und Kalibrierung sind zwei unterschiedliche Fähigkeiten. Meistens wird jedoch nur eine davon überprüft. Der Regler unten ändert nur die Aussage des Prognostikers, nie das tatsächliche Geschehen. Jeder angezeigte Wert beschreibt also exakt dieselben zweihundert Ereignisse.

Rechenbeispiel — Kalibrierung: 90 % vorhersagen und in 90 % der Fälle richtigliegen

Brier-Score	0,1934
Reliabilität, niedriger ist besser	0,0219
Auflösung, höher ist besser	0,0718
Unsicherheit, nicht zu beeinflussen	0,2458
Diese drei, kombiniert	0,1959
Auflösung eines perfekten Prognostikers	0,0718
Dieser im Vergleich dazu	100,0%
Mittlere Prognose minus Häufigkeit	-0,0671

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Lektion

Die Theorie — Kalibrierung: 90 % vorhersagen und in 90 % der Fälle richtigliegen

Eine Vorhersage ist kalibriert, wenn Ereignisse, denen sie eine Wahrscheinlichkeit von 70% zuweist, auch in etwa 70% der Fälle eintreffen. Dies ist stets die Eigenschaft einer ganzen Gruppe von Prognosen, niemals einer einzelnen. Bewertest du sie mit dem mittleren quadratischen Fehler der Wahrscheinlichkeit gegenüber dem tatsächlichen Ergebnis, dem Brier-Score, zerfällt dieser in drei Teile: B = reliability − resolution + uncertainty. Die Zuverlässigkeit beschreibt, wie weit jede Prognosegruppe von der tatsächlich eingetretenen Rate abweicht. Die Auflösung misst den Abstand dieser Raten zur Basisrate. Die Unsicherheit wiederum ist der Welt zuzuschreiben, nicht dem Prognostiker.

Was die einzelnen Symbole bedeuten

p: die vom Prognostiker angegebene Wahrscheinlichkeit
o: was eingetreten ist, 1 oder 0
B: der Brier-Score, der Mittelwert von (p − o)² über alle Prognosen

Setzt voraus: Dass die Ereignisse innerhalb einer Klasse austauschbar sind, dass es also ein fairer Test ist, alle 0,7-Prognosen zusammenzufassen und die Ergebnisse zu zählen. Auf dieser Annahme beruht die Klassenauszählung im Stillen. Sie ist auch der Grund, warum ein Prognostiker, der für zwei völlig verschiedene Arten von Ereignissen jeweils eine 0,7 ansetzt, kalibriert wirken kann und dennoch für beide unbrauchbar ist.

Der Vergleich der beiden Durchschnitte verrät dir fast nichts 🖖

Der naheliegende Test für einen Prognostiker besteht darin, den Durchschnitt seiner Aussagen mit der tatsächlichen Häufigkeit der Ereignisse zu vergleichen. Lade die letzte Voreinstellung und probiere es aus. Sechzig Ereignisse, ein Prognostiker, der jedes Mal exakt die wahre Wahrscheinlichkeit nennt. Die durchschnittliche Vorhersage liegt bei 0,5283, die tatsächliche Quote bei 0,4167. Das sind elf Punkte scheinbarer Selbstüberschätzung von jemandem, der völlig ehrlich war. Seine Auflösung entspricht 100,0 % dessen, was ein perfekter Prognostiker bei denselben Ereignissen erreicht. Kehre nun zur ersten Voreinstellung zurück. Gleicher Prognostiker, zweihundert Ereignisse. Die Lücke beträgt −0,0671 und deutet in die entgegengesetzte Richtung. Über sechsundfünfzig Stichprobengrößen hinweg beträgt die Lücke eines ehrlichen Prognostikers im Durchschnitt 0,0242 und erreicht im schlechtesten Fall 0,1116. Ein stark selbstüberschätzender Prognostiker kommt im Schnitt auf 0,0425. Beide Bereiche überschneiden sich fast vollständig. Das Reliabilitätsdiagramm existiert genau deshalb, weil ein bloßer Gesamtdurchschnitt das nicht sehen kann, was Klassen zeigen können. Er mischt die 90 %-Aussagen mit den 10 %-Aussagen und liefert nur die Mitte.

Perfekt kalibriert und absolut wertlos, gleich zweimal, aus gegensätzlichen Gründen 🖖

Stell die Konfidenz auf 0. Jede Vorhersage entspricht der Basisrate. Die Reliabilität ist exakt 0,0000, die Auflösung ebenfalls 0,0000. Der Brier-Score gleicht der Unsicherheit bis auf die letzte Nachkommastelle. Dieser Prognostiker ist im strengen Sinn perfekt kalibriert. Wenn er 56,5 % angibt, tritt das Ereignis auch in 56,5 % der Fälle ein. Dennoch hat er dir nichts Neues verraten, denn er hat diese Zahl für alles verwendet. Klick nun auf Nichts zu wissen. Ein ehrlicher Prognostiker bei zweihundert Münzwürfen. Die Anzeigetafel liefert wieder dieselben zwei Nullen. Identische Zahlen, gegensätzliche Diagnosen. Was sie voneinander trennt, ist die einzige Zahl auf dieser Seite, die ein echter Prognostiker niemals berechnen könnte. Es ist die Auflösung, die ein perfekter Prognostiker erreicht. Sie liegt bei den vorhersagbaren Ereignissen bei 0,0718 und bei den Münzen bei 0,0000. Ohne diesen Wert bedeutet eine Auflösung von 0 lediglich „du hast nichts beigetragen“, ohne zu klären, wessen Schuld das war.

Dein Kalibrierungsfehler hängt davon ab, wie du die Klassen wählst 🖖

Lass alle Einstellungen unangetastet und zieh die Klassenanzahl von 4 auf 20. Bei vierhundert ehrlichen Prognosen reicht die Reliabilität von 0,0023 bis 0,0124. Das ist mehr als das Fünffache bei Vorhersagen, die sich überhaupt nicht verändert haben. Setze die Konfidenz nun auf 3 und verändere die Klassenanzahl erneut. Von 0,0334 auf 0,0491, ein Faktor von 1,47. Diese Abhängigkeit ist genau dort am schlimmsten, wo man der Zahl am liebsten vertrauen würde. Geht die tatsächliche Fehlkalibrierung nämlich gegen null, misst du fast nur noch die Klasseneinteilung. Wenige Klassen verbergen kleine Schwankungen innerhalb eines breiten Bandes. Viele Klassen werfen vier Vorhersagen in einen Topf und verkaufen den Abstand zwischen 0 und 1 als Erkenntnis. Es gibt nur einen Prognostiker, dessen Reliabilität sich bei keiner Klassenanzahl auch nur um ein Tausendstel bewegt. Es ist derjenige bei Konfidenz null, der für alles die Basisrate vorausgesagt hat.

Aufgabe vollständig gelöst

Der Score suggeriert, du solltest deine Vorhersagen etwas abschwächen. Finde heraus, ob du dem glauben solltest. Beginne mit Ehrlicher Prognostiker und drehe den Konfidenzregler langsam über 1 hinaus, während du den Brier-Score im unteren Bereich beobachtest.

Öffne diese Aufgabe im Tool
1. Der Brier-Score ist der Durchschnitt von (Vorhersage − Ergebnis)². Ein niedrigerer Wert ist also besser und 0 ist perfekt. Lies ihn bei ein paar Einstellungen ab. Er sinkt, wenn du dich der 1 von beiden Seiten näherst. Das ist exakt die Form, die du erwarten würdest, wenn Ehrlichkeit optimal wäre.
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. Aber schau unten genauer hin. Bei diesen zweihundert Ereignissen liegt das Minimum nicht bei 1. Wenn du den gesamten Regler in Schritten von 0,05 durchgehst, liegt das beste Ergebnis bei k = 0,80. Es beträgt 0,1916 im Vergleich zu 0,1934 bei ehrlichen Prognosen. Stell die Ereignisse auf Selten um, und es liegt bei 0,75. Jede Vorhersage in Richtung der Basisrate abzuschwächen, liefert einen besseren Score, als die Wahrheit zu sagen.
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. Das sollte alarmierend sein, denn der Brier-Score ist eine echte Bewertungsregel. Er ist so konstruiert, dass die Angabe deiner wahren Überzeugung deinen erwarteten Score maximiert. Wenn Abschwächen gewinnt, ist entweder die Regel nicht echt, oder es ist etwas anderes im Gange.
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. Ändere die Stichprobengröße und durchsuche den Bereich erneut. Das gewinnende k verschiebt sich. Es bleibt nicht bei jeder Größe bei 0,85, sondern wandert. Über die sechsundfünfzig Stichprobengrößen zwischen 50 und 600 liegt das beste k bei den vorhersagbaren Ereignissen im Durchschnitt bei 0,968 und bei den seltenen bei 1,021. Es landet dreißigmal unter 1 und sechsundzwanzigmal darüber.
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. Und miss, was der Gewinner tatsächlich gewinnt. Im Durchschnitt über diese Durchläufe schlägt das beste k ehrliche Vorhersagen bei den vorhersagbaren Ereignissen um 0,39 % des Brier-Scores und bei den seltenen um 0,85 %. Die Belohnung für das Finden der perfekten Abschwächung liegt unter einem Prozent. Zudem ändert sich der Betrag, um den du abschwächen solltest, jedes Mal, wenn du hinschaust.
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
Antwort

Nein. Das k, das bei deiner Stichprobe gewinnt, ist Rauschen. Es streut um 1 herum und schlägt Ehrlichkeit um weit weniger als ein Prozent. Die Bewertungsregel tut genau das, wofür sie entworfen wurde. Ehrlichkeit ist im Erwartungswert optimal. Eine endliche Historie schwankt eben um diesen Erwartungswert, wie alles andere, das man nur einmal misst. Deine Konfidenz danach zu wählen, welcher Wert bei bereits eingetretenen Ereignissen am besten abgeschnitten hat, bedeutet, die Bewertungsregel an eine einzige Historie anzupassen. Das ist im Grunde derselbe Fehler, als würdest du den Grad eines Polynoms danach wählen, welcher den Fehler auf einem einzelnen Testdatensatz minimiert. Die Verteidigung ist ebenfalls dieselbe. Die Frage lautet nicht, was letztes Jahr am besten abschnitt, sondern was im Durchschnitt am besten abschneiden würde, und ein einziges Jahr kann das nicht beantworten. Genau deshalb wird die Erfolgsbilanz eines Prognostikers über Jahrzehnte hinweg betrachtet. Und deshalb übersteht das Reliabilitätsdiagramm eine kleine Stichprobe besser als der Score selbst. Es zeigt dir nämlich, wo die Fehlkalibrierung liegt, und nicht, wie viel sie gekostet hat.

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

Lernpfad

Eine Gerade an Daten anpassen

Quellen (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

Vom 42Math-Team · Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen.