Calibration : annoncer 90 % et avoir raison 90 % du temps

La précision et la calibration sont deux compétences différentes, et l'on ne vérifie d'ordinaire que l'une d'entre elles. Le curseur ci-dessous modifie ce que le prévisionniste a déclaré, mais jamais ce qui s'est réellement produit. Ainsi, chaque score que vous observez décrit les mêmes deux cents événements.

Exemple résolu — Calibration : annoncer 90 % et avoir raison 90 % du temps

Score de Brier	0,1934
Fiabilité, plus bas est le mieux	0,0219
Résolution, plus haut est le mieux	0,0718
Incertitude, inchangeable	0,2458
Ces trois termes recombinés	0,1959
Résolution d'un prévisionniste parfait	0,0718
Celui-ci en comparaison	100,0%
Prévision moyenne moins taux d'occurrence	-0,0671

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Leçon

La théorie — Calibration : annoncer 90 % et avoir raison 90 % du temps

Une prévision est calibrée lorsque les événements qu'elle estime probables à 70 % se produisent dans environ 70 % des cas. C'est une propriété qui caractérise un ensemble entier de prévisions, jamais une seule. Évaluez-les par l'erreur quadratique moyenne de la probabilité par rapport au résultat, le score de Brier. Il se divise en trois : B = reliability − resolution + uncertainty. La fiabilité mesure l'écart entre chaque groupe de prévisions et le taux qui l'a réellement suivi. La résolution évalue la distance entre ces taux et le taux de base. L'incertitude appartient au monde plutôt qu'au prévisionniste.

Ce que signifie chaque symbole

p: la probabilité annoncée par le prévisionniste
o: ce qui s'est produit, 1 ou 0
B: le score de Brier, la moyenne de (p − o)² sur l'ensemble des prévisions

Suppose: Que les événements sont échangeables au sein d'une même classe. Regrouper toutes les prévisions à 0,7 pour en compter les résultats constitue donc un test équitable. C'est l'hypothèse sur laquelle repose discrètement le comptage de la classe. C'est aussi la raison pour laquelle un prévisionniste annonçant 0,7 pour deux types d'événements très différents peut sembler calibré, tout en s'avérant inutile dans les deux cas.

Comparer les deux moyennes ne vous apprend presque rien 🖖

L'évaluation la plus évidente d'un prévisionniste consiste à faire la moyenne de ses annonces pour la comparer à la fréquence de réalisation des événements. Chargez le dernier préréglage et faites le test. Vous y verrez soixante événements, avec un prévisionniste qui donne exactement la véritable probabilité à chaque fois. La prévision moyenne est de 0,5283 pour un taux d'occurrence de 0,4167. Cela représente onze points d'excès de confiance apparent chez une personne pourtant parfaitement honnête, dont la résolution atteint 100,0 % de ce qu'un prévisionniste parfait obtiendrait sur les mêmes événements. Retournez maintenant au premier préréglage, avec le même prévisionniste face à deux cents événements. L'écart est de −0,0671 et pointe donc dans la direction opposée. Sur cinquante-six tailles d'échantillon, l'écart d'un prévisionniste honnête s'élève en moyenne à 0,0242 et culmine à 0,1116 au pire des cas. Un prévisionniste souffrant d'un grave excès de confiance affichera quant à lui une moyenne de 0,0425. Les deux plages se chevauchent presque entièrement. Le diagramme de fiabilité existe précisément parce qu'une moyenne globale ne peut pas percevoir ce que révèlent les classes. Elle additionne les affirmations à 90 % avec celles à 10 % pour se contenter d'en rapporter le milieu.

Parfaitement calibré et inutile, par deux fois, pour des raisons opposées 🖖

Réglez la confiance sur 0. Chaque prévision devient le taux de base. La fiabilité vaut exactement 0,0000 et la résolution exactement 0,0000, le score de Brier égalant l'incertitude jusqu'à la dernière décimale. Ce prévisionniste est parfaitement calibré au sens strict. Lorsqu'il annonce 56,5 %, l'événement se réalise 56,5 % du temps. Il ne vous a pourtant rien appris, puisqu'il l'a annoncé pour absolument tout. Cliquez à présent sur Rien à savoir pour observer un prévisionniste honnête face à deux cents tirages à pile ou face. La feuille de score affiche les mêmes deux zéros. Des nombres identiques aboutissent à des diagnostics opposés. Ce qui les sépare tient à l'unique chiffre de cette page qu'un prévisionniste réel ne pourrait jamais calculer. Il s'agit de la résolution atteinte par un prévisionniste parfait, qui est de 0,0718 sur les événements prévisibles et de 0,0000 sur les pièces. Sans elle, une résolution de 0 signifie simplement que vous n'avez rien apporté, sans pour autant désigner de coupable.

Votre erreur de calibration dépend de votre choix de classes 🖖

Ne touchez à rien d'autre et faites glisser le nombre de classes de 4 à 20. Sur quatre cents prévisions honnêtes, la fiabilité s'étend de 0,0023 à 0,0124. Elle est multipliée par plus de cinq sur des prévisions qui n'ont absolument pas varié. Poussez maintenant la confiance jusqu'à 3 et ajustez de nouveau les classes. Le score passe de 0,0334 à 0,0491, soit un facteur de 1,47. Cette dépendance s'aggrave précisément là où vous aimeriez le plus pouvoir vous fier au résultat. Lorsque la véritable erreur de calibration s'approche de zéro, la quasi-totalité de votre mesure provient en réalité du découpage en classes. Un nombre réduit de classes masque les petites variations à l'intérieur d'une large bande. À l'inverse, un grand nombre de classes isole quatre prévisions dans un même seau et qualifie de découverte la distance entre 0 et 1. Il n'existe qu'un seul prévisionniste dont la fiabilité ne bouge pas d'un millième quel que soit le nombre de classes. C'est celui qui, avec une confiance à zéro, annonce le taux de base pour chaque événement.

Problème entièrement résolu

Le score indique que vous devriez légèrement atténuer vos prévisions. Déterminez si vous devez vous y fier. Partez de Prévisionniste honnête et déplacez lentement le cadran de confiance de part et d'autre de 1, en observant le score de Brier dans le panneau inférieur.

Ouvrez ce problème dans l'outil
1. Le score de Brier est la moyenne de (prévision − résultat)². Une valeur plus basse est donc préférable et 0 représente la perfection. Lisez-le sur quelques positions différentes. Le score baisse à mesure que vous vous approchez de 1 des deux côtés, ce qui correspond à la courbe que l'on attendrait si l'honnêteté était le choix optimal.
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. Observez toutefois plus attentivement la partie la plus basse. Sur ces deux cents événements, le minimum ne se situe pas à 1. En balayant l'ensemble du cadran par pas de 0,05, on obtient le meilleur score à k = 0,80, avec 0,1916 contre 0,1934 pour une prévision honnête. Passez les événements sur Rares et la valeur devient 0,75. Atténuer chaque prévision vers le taux de base donne de meilleurs résultats que de dire la vérité.
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. Ce constat devrait vous alerter, car le score de Brier est une règle de score propre. Elle est conçue de telle sorte qu'énoncer votre véritable conviction maximise votre score espéré. Si l'atténuation l'emporte, c'est soit que la règle n'est pas propre, soit qu'il se passe autre chose.
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. Changez la taille de l'échantillon et balayez à nouveau. Le k gagnant se déplace. Il n'est pas de 0,85 pour toutes les tailles, il vagabonde. Sur les cinquante-six tailles d'échantillon comprises entre 50 et 600, le meilleur k s'établit en moyenne à 0,968 sur les événements prévisibles et à 1,021 sur les événements rares. Il tombe trente fois sous la valeur 1 et la dépasse à vingt-six reprises.
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. Mesurez enfin ce que le gagnant remporte réellement. En faisant la moyenne de ces mêmes balayages, le meilleur k bat la prévision honnête de 0,39 % du score de Brier sur les événements prévisibles et de 0,85 % sur les cas rares. La récompense pour avoir trouvé le niveau d'atténuation parfait n'atteint même pas un pour cent. De plus, la quantité exacte à atténuer change à chaque nouvelle observation.
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
Réponse

Non. Le k qui gagne sur votre échantillon n'est que du bruit, dispersé autour de 1, et il bat l'honnêteté de bien moins d'un pour cent. La règle d'évaluation accomplit exactement ce pour quoi elle a été conçue. L'honnêteté est optimale en espérance, tandis qu'un historique fini oscille autour de cette espérance, comme n'importe quelle autre donnée mesurée une seule fois. Choisir votre confiance en fonction de la valeur qui a obtenu le meilleur score sur des événements passés revient à surajuster la règle d'évaluation à un historique unique. C'est la même erreur, sous un autre déguisement, que de choisir le degré d'un polynôme en fonction de celui qui a minimisé l'erreur sur un seul jeu de validation. La défense est identique : la question n'est pas de savoir « ce qui a obtenu le meilleur score l'année dernière », mais « ce qui obtiendrait le meilleur score en moyenne ». Une seule année ne suffit pas pour y répondre. C'est la raison pour laquelle l'historique de performances d'un prévisionniste se juge sur des décennies. C'est aussi pour cela que le diagramme de fiabilité survit bien mieux à un petit échantillon que le score lui-même, puisqu'il vous montre où se situe l'erreur de calibration plutôt que de vous dire combien elle vous a coûté.

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

Parcours

Ajustement d'une droite aux données

Références (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

Par l’équipe 42Math · Vérifié sur des sources publiées. Corrections bienvenues.