Ülesobitamine: sobitub hästi, kuid ennustab halvasti

Mudel, mis sobitub andmetega täiuslikult, ei ütle ülejäänud maailma kohta midagi. Alljärgnev astmeliugur muudab selle mõtte käegakatsutavaks. Jälgi, kuidas üks viga väheneb ja teine samal ajal kasvab, ning pane tähele, kui kaugele need teineteisest lõpuks jõuavad.

Näidisarvutus — Ülesobitamine: sobitub hästi, kuid ennustab halvasti

Treeningviga 28 punktil	0,1676
Kontrollviga 12 punktil	0,2054
Nende vaheline lõhe	0,0379
Suhteline kontrollviga	1,23×
Müra, mida pole võimalik ennustada	0,2000
Tõeline viga kogu akna ulatuses	0,2293
Seega kontrollhulk on	2 astme võrra liiga lihtne

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Õppetund

Teooria — Ülesobitamine: sobitub hästi, kuid ennustab halvasti

Ülesobitamine on olukord, kus mudel hakkab kirjeldama talle sobitamiseks antud valimis peituvat müra. Kui sobitada d-astme polünoom läbi n mürase punkti, langeb treeningviga iga lisanduva astmega. Iga uus aste annab kõverale lisavõimaluse painduda juba teadaolevate punktide suunas. Tingimusel d = n − 1 läbib kõver neid kõiki täpselt. Sobitus on täiuslik ja väärtusetu. Määravaks saab vaid viga andmetel, mida mudel pole kunagi näinud.

Mida iga sümbol tähendab

d: polünoomi aste ehk mudeli vabadus painduda
σ: punktidele lisatud müra, mida ükski mudel ei suuda ennustada

Eeldab: Eeldatakse, et müra on punktide lõikes sõltumatu ja aluskõver paigast ei nihku. Kui vead on omavahel seotud, näiteks anduri triivimise või tururežiimi tõttu, ei ole ka kontrollandmed enam treeningandmetest sõltumatud. Sellisel juhul muutub iga siin lehel esitatud arv pigem optimistlikuks kui ausaks.

Treeningviga ei ütle sulle, millal peatuda 🖖

Lohista astet 0-st 12-ni ja jälgi sinist kõverat. See ei tõuse kunagi. Mitte kordagi, olenemata teiste juhtelementide asenditest: läbi prooviti 144 tõe, valimi suuruse, müra ja jaotuse kombinatsiooni, ilma ühegi erandita. Põhjus on pigem algebraline kui statistiline. Iga 4. astme polünoom on ühtlasi 5. astme polünoom, mille üks kordaja on null, mistõttu saavutab kõrgem aste punktidel, millele see sobitati, alati vähemalt sama hea tulemuse. See lihtsalt jätab vana vastuse alles, kui ei suuda seda ületada. See muudab küsimuse „milline aste annab väikseima treeningvea?“ täiesti infovaeseks, sest vastuseks on alati suurim aste, mida katsetasid. Sinine kõver ei ole diagnostikavahend. See mõõdab pelgalt seda, kui palju vabadust sa mudelile andsid.

Mürast parem tulemus kontrollhulgal pole saavutus 🖖

Vali tõeliseks funktsiooniks Sirge, määra valimi suuruseks 40, müraks 0,5 ja jaotuseks 70%. Liiguta seejärel astmeliugurit ühest äärest teise. Iga viimane kui aste teatab, et kontrollviga on alla 0,5. Astmel 1 on see lausa 0,2353. See peaks olema võimatu. Andmed koosnevad sirgjoonest ja mürast, mille standardhälve on 0,5. Mudel, mis suudaks sirge täiuslikult taastada, eksiks seega igas punktis keskmiselt umbes 0,5 võrra ning müra pole teatavasti võimalik ennustada. Roheline kõver näitab sama viga, mis on tosinast punktist hindamise asemel täpselt välja arvutatud. Astmel 1 näitab see 0,5037, mis on napilt üle mürataseme ja iseloomulik peaaegu ideaalsele mudelile. See ei langenud kordagi mürast allapoole, ei 468 kontrollil sellel müratasemel ega ka 8424 katsel üle kogu vahemiku. Järelikult ei mõõtnud kontrollhulga arvutatud viga mudeli tegelikku võimekust. See näitas lihtsalt, et valitud tosin punkti osutusid juhuslikult lihtsaks, eksides tegelikkuse suhtes rohkem kui kahekordselt ja tehes seda sulle meelepärases suunas.

Üks jaotus tabab õiget keerukust 42% juhtudest 🖖

Veapaneeli all olevad kaks kolmnurka tähistavad kontrollhulga valitud astet ja tegelikku parimat astet. Läbi 540 tõelise funktsiooni, valimi suuruse, müra ja jaotuse kombinatsiooni langesid need kokku 226 juhul ning jäid ühe astme kaugusele 325 korral. Nende keskmine kaugus oli 1,85 astet. Halvimatel juhtudel oli mudel viie astme võrra liiga lihtne ja üheteistkümne võrra liiga keeruline. Ka viga ei kaldu sümmeetriliselt. Kontrollhulk küsis 233 korda õigest keerulisemat mudelit ja ainult 81 korda lihtsamat, kuna juhuslikult lähedalt mööduv kõverus võib väikest testandmestikku eksitada. See pole matemaatiline viga, sest kontrollviga arvutatakse alati korrektselt. Küsimus on hoopis selles, et tosinast punktist arvutatud üksik näitaja annab soovitud väärtusest ähmase pildi. Lahenduseks on ühe jaotuse usaldamise asemel mitme tulemuse keskmistamine. See ongi ristkontroll ning käesolev tekst selgitab selle vajalikkust.

Ülesanne täielikult lahendatud

Oled ilmselt kuulnud, et rohkemate andmete korral saab kasutada suuremat mudelit. Uuri välja, millal see väide peab paika ja millal mitte, kasutades kahte funktsiooni, kus tulemused erinevad. Alusta eelseadetest Lineaarne tõde ja Õige mudel, vähe andmeid ning võrdle, kuidas valimi suuruse liugur kumbagi mõjutab.

Ava see ülesanne tööriistas
1. Alustame sirgest. Vali tõeliseks funktsiooniks Sirge, sea müraks 0,6 ja nihuta valimi suuruse liugurit üle kogu vahemiku. Väikseima tõelise veaga aste on 1 kaheksal juhul üheteistkümnest ning ülejäänud kolmel korral jääb see 2 juurde. See ei tõuse kunagi üle 2 ega lange alla 1. Selles puudub igasugune trend. Kahed satuvad 15, 20 ja 50 punkti juurde, mitte suuremasse otsa. Suurem andmehulk ei lisa siin ainsatki astet.
  
  $straight truth : ar g d min risk (d) = 1 at eight of eleven sample sizes$
2. Nüüd aga kuupfunktsioon, mille puhul varasem väide end õigustab. Vali tõeliseks funktsiooniks Kuupfunktsioon, müraks 0,6, jaotuseks 70% ja valimi suuruseks 10. Seega jääb treenimiseks seitse punkti. Tõeline viga astmel 3 on 0,7297 ning astmel 1 on see 0,6107, mis tähendab, et sirge edestab õiget mudelit pika puuga.
  
  $n = 10, n_{train} = 7 : risk (1) = 0.6107 < risk (3) = 0.7297$
3. Loe seda uuesti, sest just see on üllatav. Andmed on tõepoolest genereeritud kuupfunktsiooni poolt, kuid selle sobitamine on täiesti vale samm. Seitsmest mürasest punktist hinnatud neli kordajat on nii ebakindlad, et nendega kaasnev viga on suurem kui nende poolt tabatud kõverus.
  
  $four coefficients from seven noisy points : Var [\hat{f}] \propto \frac{d + 1}{n _{train}}$
4. Jäta kõik muu samaks ja suurenda valimit 40-ni. Nüüd on meil kakskümmend kaheksa treeningpunkti. Aste 3 annab tulemuseks 0,6496 ning aste 1 annab 0,6616. Kuupfunktsioon on ette rebinud ja vähima tõelise veaga aste on 3.
  
  $n = 40, n_{train} = 28 : risk (3) = 0.6496 < risk (1) = 0.6616$
5. Need kaks olukorda erinevad ühe asja poolest. Sirge puhul sisaldab aste 1 tõde juba täiuslikult. Ükski andmekogus ei loo vajadust kordajate lisamiseks, sest midagi ei ole enam jäänud seletada. Kümne punktiga kuupfunktsiooni korral sisaldab aste 3 samuti tõde, ent valim on selle ülesleidmiseks lihtsalt liiga väike.
  
  $n 1040 risk (1) 0.6107 0.6616 risk (3) 0.7297 0.6496 best degree 13$
Vastus

Rohkem andmeid ei kingi sulle suuremat mudelit. See annab lihtsalt võimaluse lubada endale mudelit, mida sul nagunii vaja oli. Peamine küsimus on selles, kas su praegusel mudeliklassil jääb millestki reaalsest puudu. Kui jääb, aitavad lisaandmed selle puuduva osa viimaks kätte saada. Kui aga mitte, ei muuda andmete lisandumine õige keerukuse juures midagi. Seetõttu püsibki lineaarne tõde astmel 1 alates kümnest punktist kuni saja kahekümne punktini. Suure müraga kuupfunktsioon nihkub aga astmelt 1 astmele 3 kuskil kümne ja neljakümne punkti vahel. See liikumine ei ole seejuures sugugi sujuv. Seitsmel erineval suurusel 10 ja 60 vahel on tulemuseks 1, 1, 1, 4, 1, 3, 3. See pole trepp, vaid trend koos valimi varieeruvusega, kuna iga valimi suurus tekitab omaette unikaalse andmestiku. Üksik katse ühe valimisuurusega ei suuda sulle öelda, kumba olukorda sa parajasti vaatad. See on täpselt seesama õppetund, mida kordavad ka veapaneeli all asuvad kaks kolmnurka.

$more data \Rightarrow a bigger model only if bias (d_{now}) > 0$

Õpitee

Andmetele sirge sobitamine

Allikad (3)

Why a high-degree polynomial through evenly spaced points swings wildly between them — the effect the top panel shows at degree 11 and above: C. Runge, “Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten.” Zeitschrift für Mathematik und Physik 46, 224–243, 1901.
The origin of the fix this page argues for but does not implement — averaging several splits instead of trusting one: M. Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions.” Journal of the Royal Statistical Society Series B 36(2), 111–133, 1974.
The standard treatment of everything on this page — the bias-variance decomposition, the shape of a test-error curve, and why a single split is a noisy estimate of it: T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning. Springer, 2009.

42Mathi meeskond · Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud.