Calibración: predecir un 90 % y acertar el 90 % de las veces

La precisión y la calibración son habilidades diferentes, aunque la gente suele fijarse solo en una. El dial inferior modifica las palabras del pronosticador, nunca los hechos; por tanto, todas las puntuaciones que veas describen los mismos doscientos eventos.

Ejemplo resuelto — Calibración: predecir un 90 % y acertar el 90 % de las veces

Puntuación de Brier	0,1934
Fiabilidad (menor es mejor)	0,0219
Resolución (mayor es mejor)	0,0718
Incertidumbre (inalterable)	0,2458
Los tres combinados	0,1959
Resolución de un pronosticador perfecto	0,0718
Este pronosticador frente al perfecto	100,0%
Pronóstico medio menos tasa de resultados	-0,0671

Estos son los valores que muestra la calculadora al abrir la página. Cambia cualquier entrada de arriba para recalcularlos.

Cargando simulación interactiva...

Lección

La teoría — Calibración: predecir un 90 % y acertar el 90 % de las veces

Un pronóstico está calibrado cuando los eventos a los que asignó un 70% de probabilidad ocurren casi un 70% de las veces. Esta característica define a un conjunto entero de pronósticos, jamás a uno solo. Evalúalos mediante el error cuadrático medio de la probabilidad respecto al resultado, la puntuación de Brier, y verás que se divide en tres: B = reliability − resolution + uncertainty. La fiabilidad mide cuánto se aleja cada grupo de pronósticos de la tasa real observada. La resolución indica la distancia entre esas tasas y la tasa base. La incertidumbre, por su parte, es propia del mundo y no de quien pronostica.

Qué significa cada símbolo

p: la probabilidad asignada por el pronosticador
o: lo que ocurrió, 1 o 0
B: la puntuación de Brier, la media de (p − o)² en todos los pronósticos

Supone: Que los eventos son intercambiables dentro de un mismo grupo. Es decir, que reunir todos los pronósticos de 0,7 y contar los resultados constituye una prueba justa. Esta es la premisa sobre la cual descansa silenciosamente el conteo del grupo. Y es la razón por la que un pronosticador que asigna 0,7 a dos tipos de evento muy distintos puede parecer calibrado aunque resulte inútil en ambos.

Comparar las dos medias no te dice casi nada 🖖

La comprobación más obvia que se le hace a un pronosticador consiste en calcular la media de sus predicciones y compararla con la frecuencia real de los sucesos. Carga el último ajuste preestablecido y haz la prueba. Verás sesenta eventos y a un analista que indica exactamente la probabilidad real en cada caso; el pronóstico medio es 0,5283 frente a una tasa de resultados de 0,4167. Son once puntos de aparente exceso de confianza en alguien que ha sido totalmente honesto, cuya resolución alcanza el 100,0 % de lo que lograría un modelo perfecto con esos mismos datos. Ahora vuelve al primer ajuste. Tenemos al mismo pronosticador y doscientos eventos. La diferencia es de −0,0671, lo que apunta en la dirección opuesta. A lo largo de cincuenta y seis tamaños de muestra, la diferencia de un pronosticador honesto tiene una media de 0,0242 y alcanza un máximo de 0,1116 en su peor momento. En cambio, un pronosticador muy sobreconfiado promedia 0,0425. Ambos rangos se solapan casi por completo. El diagrama de fiabilidad existe porque una media general no puede detectar lo que sí ven los intervalos; simplemente suma las predicciones del 90 % con las del 10 % y te devuelve el punto medio.

Calibración perfecta e inútil dos veces, por motivos opuestos 🖖

Pon la confianza en 0. Cada pronóstico se convierte en la tasa base. La fiabilidad es exactamente 0,0000, la resolución es exactamente 0,0000 y la puntuación de Brier iguala a la incertidumbre hasta el último decimal. Este pronosticador está perfectamente calibrado en sentido estricto. Cuando predice un 56,5 %, el suceso ocurre el 56,5 % de las veces; sin embargo, no te ha aportado nada porque ha dicho lo mismo para todo. Pulsa ahora Nada que saber. Verás a un pronosticador honesto evaluando doscientos lanzamientos de moneda y la tabla de puntuaciones muestra los mismos dos ceros. Son números idénticos con diagnósticos opuestos. Lo que los separa es la única cifra de esta página que un pronosticador real jamás podría calcular. Se trata de la resolución que alcanza un pronosticador perfecto, que es 0,0718 para los eventos predecibles y 0,0000 para las monedas. Sin este dato, una resolución de 0 solo significa que no añadiste nada útil, sin poder aclarar de quién fue la culpa.

Tu error de calibración depende de cómo elijas los intervalos 🖖

Deja todo como está y arrastra el número de intervalos de 4 a 20. En cuatrocientos pronósticos honestos, la fiabilidad varía de 0,0023 a 0,0124. Se multiplica por más de cinco en predicciones que no han cambiado en absoluto. Ahora sube la confianza a 3 y vuelve a arrastrar los intervalos; pasará de 0,0334 a 0,0491, un factor de 1,47. Esta dependencia es más grave justo donde más te gustaría confiar en el número. Cuando el verdadero error de calibración roza el cero, casi todo lo que mides es el efecto de agrupar los datos. Unos pocos intervalos ocultan las oscilaciones dentro de una banda ancha. Por el contrario, muchos intervalos meten cuatro pronósticos en un mismo saco y consideran que la distancia entre 0 y 1 es un gran descubrimiento. Solo hay un pronosticador cuya fiabilidad no se mueve ni una milésima sin importar el número de intervalos. Es aquel que tiene la confianza en cero y predijo la tasa base para todo.

Problema resuelto al detalle

La puntuación sugiere que deberías rebajar un poco tus pronósticos. Averigua si debes creerlo. Empieza en Pronosticador honesto y mueve lentamente el dial de confianza a través del 1, observando la puntuación de Brier en el panel inferior.

Abre este problema en la herramienta
1. La puntuación de Brier es la media de (pronóstico − resultado)². Por lo tanto, un valor menor es mejor y el 0 es perfecto. Observa la puntuación en distintas posiciones. Verás que disminuye al acercarte a 1 desde ambos lados, que es exactamente el comportamiento esperado si la honestidad fuera lo óptimo.
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. Pero fíjate bien cerca del mínimo. En estos doscientos eventos, el punto más bajo no está en 1. Si recorres todo el dial en incrementos de 0,05, la mejor puntuación se sitúa en k = 0,80 con un valor de 0,1916, frente al 0,1934 del pronóstico honesto. Cambia los eventos a Poco frecuentes y verás que baja a 0,75. Acercar cada pronóstico a la tasa base da mejor resultado que decir la verdad.
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. Esto debería alarmarte. La puntuación de Brier es una regla de puntuación propia: está diseñada para que expresar tu verdadera creencia maximice tu puntuación esperada. Si rebajarlos resulta ganador, o bien la regla no es apropiada, o bien está pasando algo más.
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. Cambia el tamaño de la muestra y vuelve a hacer el barrido. La k ganadora se mueve. No se queda en 0,85 para todos los tamaños, sino que deambula. En los cincuenta y seis tamaños de muestra comprendidos entre 50 y 600, la mejor k promedia 0,968 en los eventos predecibles y 1,021 en los raros. Cae por debajo de 1 en treinta ocasiones y por encima en veintiséis.
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. Mide ahora lo que realmente gana el vencedor. Si hacemos la media de esos mismos barridos, la mejor k supera al pronóstico honesto en un 0,39 % de la puntuación de Brier para los eventos predecibles, y en un 0,85 % para los raros. El premio por encontrar la cantidad perfecta de ajuste no llega al uno por ciento. Además, la cantidad exacta que debes rebajar cambia cada vez que miras.
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
Respuesta

No. La k que gana en tu muestra es mero ruido disperso alrededor de 1, y supera a la honestidad por bastante menos de un uno por ciento. La regla de puntuación hace exactamente aquello para lo que fue diseñada. La honestidad es óptima en términos de esperanza matemática, y un historial finito oscila alrededor de esa esperanza como cualquier otra cosa que se mida una sola vez. Elegir tu nivel de confianza basándote en el valor que obtuvo mejor puntuación en eventos pasados equivale a sobreajustar la regla a un solo historial. Es el mismo error, pero con otro disfraz, que elegir el grado de un polinomio fijándose únicamente en cuál minimizó el error en una única partición de prueba. La defensa también es idéntica. La pregunta no es "qué obtuvo mejor puntuación el año pasado", sino "qué obtendría mejor puntuación de media", y un solo año no puede responder a eso. Por este motivo, el historial de un pronosticador se evalúa a lo largo de décadas. Y por eso mismo, el diagrama de fiabilidad sobrevive a una muestra pequeña mucho mejor que la puntuación general; te enseña dónde está el error de calibración, en lugar de cuánto te ha costado.

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

Ruta de aprendizaje

Ajuste de una recta a los datos

Referencias (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

Por el equipo de 42Math · Contrastado con fuentes publicadas. Se agradecen correcciones.