Kalibreeritus: 90% pakkumine ja 90% kordadest täppi panemine

Täpsus ja kalibreeritus on erinevad oskused. Inimesed kipuvad kontrollima neist vaid ühte. Alljärgnev nupp muudab ainult prognoosija öeldut, mitte seda, mis tegelikult juhtus. Iga nähtav skoor kirjeldab seega täpselt samu kahtsadat sündmust.

Näidisarvutus — Kalibreeritus: 90% pakkumine ja 90% kordadest täppi panemine

Brieri skoor	0,1934
Usaldusväärsus, väiksem on parem	0,0219
Eristusvõime, suurem on parem	0,0718
Määramatus, mida keegi muuta ei saa	0,2458
Need kolm, uuesti kombineeritult	0,1959
Täiusliku prognoosija eristusvõime	0,0718
See täiusliku vastu	100,0%
Keskmine prognoos miinus tulemuste sagedus	−0,0671

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Kalibreeritus: 90% pakkumine ja 90% kordadest täppi panemine

Prognoos on kalibreeritud, kui sündmused, mille toimumist peeti 70% tõenäoliseks, leiavad aset ligikaudu 70% juhtudest. Selline omadus iseloomustab alati prognooside kogumit, mitte kunagi ühtainsat ennustust. Mudelite hindamiseks kasutatakse tõenäosuse ja tegeliku tulemuse vahelist ruutkeskmist viga ehk Brieri skoori, mis jaguneb kolmeks komponendiks: B = reliability − resolution + uncertainty. Usaldusväärsus näitab, kui kaugel asub iga prognooside rühm tegelikust sagedusest, mis sellele järgnes. Eraldusvõime näitab nende sageduste kaugust baassagedusest. Määramatus seevastu on seotud pigem ümbritseva maailma kui ennustaja endaga.

Mida iga sümbol tähendab

p: prognoosija esitatud tõenäosus
o: tegelik tulemus, 1 või 0
B: Brieri skoor, (p − o)² keskmine üle kõigi prognooside

Eeldab: See eeldab, et sündmused on ühe rühma piires vahetatavad ning kõigi 0,7 suuruste prognooside koondamine ja tulemuste kokkulugemine on õiglane test. Just sellele vaikimisi tehtud eeldusele rühmadesse jaotamine toetubki. See on ühtlasi põhjus, miks kahe täiesti erinevat tüüpi sündmuse tõenäosuseks 0,7 pakkunud ennustaja võib näida kalibreerituna, olemata kummagi hindamisel tegelikult kasulik.

Kahe keskmise võrdlemine ei ütle sulle peaaegu midagi 🖖

Kõige ilmsem viis prognoosija kontrollimiseks on võtta tema ütlemiste keskmine ja võrrelda seda asjade tegeliku toimumise sagedusega. Laadi viimane eelseadistus ja proovi järele. Kuuskümmend sündmust, prognoosija ütleb iga kord tegeliku tõenäosuse. Keskmine prognoos on 0,5283 ja tulemuste sagedus 0,4167. See tähendab üksteist punkti näilist liigset enesekindlust inimeselt, kes oli täiesti aus. Tema eristusvõime on samas 100,0% sellest, mida täiuslik prognoosija samadel sündmustel saavutaks. Mine nüüd tagasi esimese eelseadistuse juurde. Sama prognoosija, kakssada sündmust. Vahe on −0,0671, mis viitab hoopis vastupidisele. Viiekümne kuue valimisuuruse peale on ausa prognoosija vahe keskmiselt 0,0242 ja jõuab halvimal juhul väärtuseni 0,1116. Tugevalt liigse enesekindlusega prognoosija keskmine on aga 0,0425. Need kaks vahemikku kattuvad peaaegu täielikult. Usaldusväärsuse diagramm ongi olemas seetõttu, et kõige pealt võetud keskmine ei näe seda, mida näevad vahemikud. Keskmine lihtsalt liidab 90% väited 10% väidetega ja esitab sulle keskkoha.

Täiuslikult kalibreeritud ja kasutu, kaks korda ja vastandlikel põhjustel 🖖

Määra kindlustundeks 0. Iga prognoos muutub baasmääraks. Usaldusväärsus on täpselt 0,0000 ja eristusvõime samuti 0,0000. Brieri skoor võrdub määramatusega kuni viimase komakohani. See prognoosija on ranges mõttes täiuslikult kalibreeritud. Kui ta ütleb 56,5%, siis see juhtubki 56,5% kordadest. Samas pole ta sulle midagi uut öelnud, sest ta pakkus sama numbrit iga asja kohta. Klõpsa nüüd valikut Pole midagi teada. Näed ausat prognoosijat kahesaja mündiviske hindamisel. Tulemustabelis on kirjas needsamad kaks nulli. Arvud on identsed, aga diagnoosid vastandlikud. Neid eristab üksainus väärtus, mida päris prognoosija kunagi arvutada ei saaks. See on täiusliku prognoosija saavutatav eristusvõime, mis on ennustatavate sündmuste puhul 0,0718 ja müntide puhul 0,0000. Ilma selleta tähendab eristusvõime 0 vaid seda, et sa ei lisanud midagi. See aga ei ütle, kelle süü see oli.

Sinu kalibreerimisviga sõltub sellest, kuidas valisid vahemikud 🖖

Jäta kõik muutmata ja tõmba vahemike arv 4 pealt 20 peale. Neljasaja ausa prognoosi korral tõuseb usaldusväärsus 0,0023 pealt 0,0124 peale. Seda on enam kui viis korda rohkem. Prognoosid ise pole seejuures üldse muutunud. Lükka nüüd kindlustunne 3 peale ja sikuta vahemikke uuesti. Tulemus ulatub 0,0334 juurest 0,0491 juurde, mis teeb teguriks 1,47. Sõltuvus on kõige hullem just seal, kus sa tahaksid tulemust kõige rohkem usaldada. Kui tegelik kalibreerimisviga on nulli lähedal, mõõdadki enamjaolt vaid vahemike jaotust. Väheste vahemike puhul mattub kõikumine laia riba sisse. Paljude vahemike korral satuvad neli prognoosi samasse patta ja 0 ning 1 vahelist kaugust nimetatakse leiuks. On vaid üks prognoosija, kelle usaldusväärsus ei liigu ühegi vahemike arvu juures tuhandikkugi. See on too null-kindlustundega ennustaja, kes pakkus iga asja kohta baasmäära.

Ülesanne täielikult lahendatud

Skoor vihjab, et peaksid oma prognoose pisut allapoole tõmbama. Uuri välja, kas seda tasub uskuda. Alusta valikust Aus prognoosija ja liiguta kindlustunde nuppu aeglaselt üle 1, jälgides samal ajal alumisel paneelil Brieri skoori.

Ava see ülesanne tööriistas
1. Brieri skoor on (forecast − outcome)² keskmine. Seega on väiksem väärtus parem ja 0 märgib täiuslikkust. Vaata seda paari seadistuse juures. See langeb, kui lähened kummaltki poolt 1-le. Just sellist kuju võiksidki eeldada, kui ausus oleks optimaalne.
  
  $B = \frac{1}{n} i = 1 \sum n (p_{i} - o_{i})^{2}, 0 \leq B \leq 1$
2. Aga vaata hoolikamalt skaala alumist otsa. Nende kahesaja sündmuse puhul ei asu miinimum 1 juures. Tervet skaalat 0,05 sammuga läbi käies tuleb parim skoor kohas k = 0,80, olles 0,1916 ausa prognoosimise 0,1934 vastu. Vaheta sündmused valikule Haruldased ja uueks miinimumiks on 0,75. Iga prognoosi baasmäära poole nihutamine annab parema tulemuse kui tõe rääkimine.
  
  $honest (k = 1) : B = 0.1934 k min B = 0.1916 at k = 0.80$
3. See peaks olema murettekitav. Brieri skoor on korrektne hindamisreegel. See tähendab, et ta on üles ehitatud sinu oodatavat skoori maksimeerima juhul, kui esitad oma tõelise uskumuse. Kui nihutamine osutub paremaks, ei ole reegel kas korrektne või on mängus midagi muud.
  
  $a proper rule : E [B (p)] is minimised at p = Pr (event)$
4. Muuda valimi suurust ja proovi uuesti läbi. Võitev k liigub ringi. See ei püsi iga suuruse juures 0,85 peal, vaid eksleb. Viiekümne kuue valimisuuruse lõikes vahemikus 50 kuni 600 on parim k keskmiselt 0,968 ennustatavate sündmuste puhul ja 1,021 haruldaste puhul. See langeb kolmkümmend korda alla 1 ja kerkib kakskümmend kuus korda üle selle.
  
  $predictable events rare events best k 0.968 1.013 it beats honest by 0 . 39% 0 . 85%$
5. Mõõda nüüd ka seda, mida võitja tegelikult saavutab. Nendesamade läbikäimiste keskmisena edestab parim k ausat prognoosijat Brieri skoori arvestuses 0,39% ennustatavate sündmuste ja 0,85% haruldaste sündmuste puhul. Auhind täiusliku nihutamismäära leidmise eest on alla ühe protsendi. Pealegi muutub vajalik nihutamise määr iga kord, kui sa uuesti mõõdad.
  
  $0.1934 - 0.1916 = 0.0018 \approx 0 . 9% of B$
Vastus

Ei. Sinu valimil võitev k on vaid müra, mis hajub ümber 1. See edestab ausust kaugelt alla ühe protsendi. Hindamisreegel teeb täpselt seda, milleks see loodi. Ausus on ootuses optimaalne. Lõplik ajalugu aga kõigub selle ootuse ümber täpselt nagu iga teinegi ühekordselt mõõdetud nähtus. Oma kindlustunde valimine selle järgi, milline väärtus andis minevikusündmustel parima skoori, tähendab hindamisreegli sobitamist ühe konkreetse ajalooga. See on teises kuues täpselt seesama viga, mis polünoomi astme valimine selle alusel, milline minimeeris vea ühelainsal eraldatud andmestikul. Kaitsestrateegia on samuti identne. Küsimus pole selles, mis andis eelmisel aastal parima skoori, vaid mis annaks parima skoori keskmiselt. Üks aasta ei suuda sellele vastata. Just seetõttu hinnatakse prognoosija tulemuslikkust aastakümnete lõikes. See on ka põhjus, miks usaldusväärsuse diagramm elab väikese valimi skoorist paremini üle. Diagramm näitab sulle kus kalibreerimisviga asub, mitte seda, kui palju see skooris maksma läks.

$ar g k min B on a sample \neq = 1, E [ar g k min B] = 1$

Õpitee

Andmetele sirge sobitamine

Allikad (3)

The score itself, three pages long, written for weather forecasting and still the standard way to grade a probability: G. W. Brier, “Verification of forecasts expressed in terms of probability.” Monthly Weather Review 78(1), 1–3, 1950.
The split into reliability, resolution and uncertainty — the three terms this page prints, and the reason they have to be separate: A. H. Murphy, “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology 12(4), 595–600, 1973.
Why honesty is the best policy under this score and not merely the decent one — the paper that named the property: L. J. Savage, “Elicitation of Personal Probabilities and Expectations.” Journal of the American Statistical Association 66(336), 783–801, 1971.

42Mathi meeskond · Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.