Calibração: Dizer 90% e acertar 90% das vezes

Ser exato e ser bem calibrado são habilidades distintas. As pessoas costumam verificar apenas uma delas. O controle abaixo altera as declarações do previsor, mas nunca os resultados. Assim, todos os escores que você verá referem-se aos mesmos duzentos eventos.

Exemplo resolvido — Calibração: Dizer 90% e acertar 90% das vezes

Escore de Brier	0,1934
Confiabilidade, menor é melhor	0,0219
Resolução, maior é melhor	0,0718
Incerteza, impossível de alterar	0,2458
Os três combinados	0,1959
A resolução de um previsor perfeito	0,0718
Comparação com o perfeito	100,0%
Previsão média menos taxa de ocorrência	-0,0671

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Lição

A teoria — Calibração: Dizer 90% e acertar 90% das vezes

Uma previsão é calibrada quando os eventos que ela julgou terem 70% de chance ocorrem em cerca de 70% das vezes. Trata-se de uma propriedade de um conjunto inteiro de previsões, jamais de uma só. Avalie-as com o erro quadrático médio da probabilidade em relação ao resultado, o escore de Brier, e ele se decomporá em três partes: B = reliability − resolution + uncertainty. A confiabilidade indica o quanto cada grupo de previsões se distancia da taxa que de fato o seguiu. A resolução reflete o quanto essas taxas divergem da taxa base. A incerteza, por fim, pertence ao mundo, e não a quem faz a previsão.

O que significa cada símbolo

p: a probabilidade declarada na previsão
o: o que aconteceu, 1 ou 0
B: o escore de Brier, a média de (p − o)² para todas as previsões

Pressupõe: Que os eventos sejam permutáveis dentro de uma mesma classe — que reunir todas as previsões de 0,7 e contar os resultados constitua um teste justo. Essa é a premissa sobre a qual a contagem nas classes se apoia silenciosamente. É também o motivo pelo qual alguém que atribua 0,7 a dois tipos de evento muito diferentes pode parecer calibrado, sendo na prática inútil para ambos.

Comparar as duas médias quase não revela nada 🖖

A verificação mais óbvia a fazer sobre um previsor consiste em calcular a média de todas as suas declarações e compará-la com a frequência real dos acontecimentos. Carregue a última configuração e comprove. Temos sessenta eventos em que o previsor indicou a probabilidade exata em todas as ocasiões. A previsão média resulta em 0,5283 perante uma taxa de ocorrência de 0,4167. Isso representa onze pontos de aparente excesso de confiança da parte de alguém totalmente honesto. A resolução desse previsor é de 100,0% face ao que alguém com calibração perfeita alcançaria com esses mesmos eventos. Regresse agora à primeira configuração. Com o mesmo previsor e duzentos eventos, a diferença é de −0,0671, indicando a direção oposta. Ao longo de cinquenta e seis tamanhos de amostra, a diferença de um previsor honesto apresenta uma média de 0,0242 e atinge 0,1116 no pior caso, ao passo que um previsor demasiado confiante regista uma média de 0,0425. Ambas as faixas se sobrepõem quase por completo. O diagrama de confiabilidade existe pois uma média geral é incapaz de revelar o que os intervalos mostram. Ela mistura as estimativas de 90% com as de 10% e simplesmente devolve o meio-termo.

Perfeitamente calibrado e inútil em duas ocasiões, por motivos opostos 🖖

Ajuste a confiança para 0. Cada previsão transforma-se na taxa base. A confiabilidade passa a ser exatamente 0,0000, a resolução fica precisamente em 0,0000, e o escore de Brier iguala a incerteza até à última casa decimal. Este previsor encontra-se perfeitamente calibrado no sentido mais rigoroso da palavra, pois quando afirma 56,5%, o evento ocorre 56,5% das vezes. Apesar disso, ele não transmitiu qualquer informação útil, uma vez que declarou o mesmo valor para tudo. Clique agora em Nada a saber. Temos um previsor honesto avaliando duzentos lançamentos de moedas e a tabela apresenta os mesmos dois zeros. Os números são idênticos, mas os diagnósticos são opostos. O que os distingue é o único valor desta página que um previsor real jamais conseguiria calcular. Trata-se da resolução atingida por um previsor perfeito, que é de 0,0718 nos eventos previsíveis e 0,0000 nas moedas. Sem essa referência, uma resolução de 0 significa apenas "não foi acrescentado nada", mas não permite apontar de quem foi a culpa.

O erro de calibração depende da forma como os intervalos são escolhidos 🖖

Mantenha o resto inalterado e arraste o número de intervalos de 4 para 20. Em quatrocentas previsões honestas, a confiabilidade vai de 0,0023 a 0,0124. Trata-se de um aumento superior a cinco vezes para um conjunto de previsões que não sofreu qualquer alteração. Aumente a confiança para 3 e mova os intervalos novamente. O valor sobe de 0,0334 para 0,0491, o que corresponde a um fator de 1,47. Essa dependência agrava-se precisamente nos pontos onde mais desejaríamos confiar no número. Quando o erro de calibração real está próximo de zero, quase tudo o que está a ser medido resulta da própria divisão em intervalos. Poucos intervalos conseguem ocultar grandes flutuações dentro de uma faixa ampla. Por outro lado, o excesso de intervalos agrupa quatro previsões num único cesto e trata a distância entre 0 e 1 como uma descoberta significativa. Existe, no entanto, um previsor cuja confiabilidade não varia nem um milésimo, seja qual for a quantidade de intervalos. É o previsor com confiança zero, que respondeu a taxa base para absolutamente tudo.

Problema resolvido na íntegra

O escore sugere que você deveria reduzir ligeiramente as suas previsões. Procure perceber se deve ou não acreditar nisso. Parta da configuração Um previsor honesto e mova lentamente o controle de confiança cruzando o valor 1. Observe o escore de Brier no painel inferior.

Abrir este problema na ferramenta
1. O escore de Brier é a média de (previsão − resultado)², portanto, quanto mais baixo, melhor, e o 0 corresponde à perfeição. Faça a leitura em diferentes posições. O valor diminui à medida que nos aproximamos de 1 a partir de qualquer um dos lados. Esse é exatamente o comportamento esperado caso a honestidade fosse a estratégia ideal.
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. Mas preste atenção ao fundo da curva. Perante estes duzentos eventos, o mínimo não se encontra no 1. Ao varrer o controle de ponta a ponta em passos de 0,05, o melhor escore atinge-se em k = 0,80, registando 0,1916 contra 0,1934 da previsão honesta. Mude os eventos para Raros e o ponto ideal será 0,75. Encolher todas as previsões em direção à taxa base obtém uma pontuação superior a dizer a verdade.
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. Isso deveria ser um sinal de alerta. O escore de Brier é uma regra de pontuação própria, construída de modo a que a declaração da verdadeira convicção maximize o escore esperado. Se a estratégia de encolher as previsões vence, então ou a regra não é própria ou está a ocorrer um outro fenómeno.
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. Altere o tamanho da amostra e faça a varredura novamente. O k vencedor desloca-se, em vez de se fixar em 0,85 para todas as amostras. Ao longo de cinquenta e seis tamanhos de amostra entre 50 e 600, o melhor k regista uma média de 0,968 nos eventos previsíveis e 1,021 nos raros. Ele situa-se abaixo de 1 trinta vezes e acima dele vinte e seis vezes.
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. Por fim, avalie a verdadeira vantagem do vencedor. Na média dessas mesmas varreduras, o melhor k supera a previsão honesta em 0,39% do escore de Brier nos eventos previsíveis e em 0,85% nos raros. A recompensa por descobrir a quantidade exata de ajuste fica abaixo de um por cento, e a medida ideal desse ajuste muda a cada nova observação.
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
Resposta

Não. O k que vence na sua amostra não passa de ruído disperso em torno do 1 e supera a honestidade por uma margem inferior a um por cento. A regra de pontuação faz exatamente aquilo para que foi concebida. A honestidade é ótima em termos de esperança matemática, e um histórico finito oscila em torno dessa esperança tal como qualquer outra medição isolada. Ajustar a sua confiança com base no valor que obteve o melhor resultado perante eventos que já ocorreram significa sobreajustar a regra de pontuação a um único histórico. Trata-se do mesmo erro que cometemos, sob outra roupagem, quando selecionamos o grau de um polinómio com o único fim de minimizar o erro numa divisão de dados de validação. A defesa perante esse problema também se mantém inalterada. A verdadeira questão não passa por descobrir o que pontuou melhor no último ano, mas sim o que pontuaria melhor na média das situações, algo que um único ano é incapaz de responder. Essa é a razão pela qual o histórico de um previsor é medido em décadas. É por esse mesmo motivo que o diagrama de confiabilidade sobrevive melhor a uma amostra pequena do que o escore simples, uma vez que o diagrama mostra onde se encontra o erro de calibração em vez de apenas contabilizar o seu custo.

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

Percurso de aprendizagem

Ajustar uma reta a dados

Referências (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

Pela equipa 42Math · Verificado com fontes publicadas. Correções bem-vindas.