Überanpassung: Gut anpassen, schlecht vorhersagen

Ein Modell, das deine Daten perfekt beschreibt, verrät dir nichts über den Rest der Welt. Der Schieberegler für den Grad macht das deutlich. Beobachte, wie ein Fehler sinkt, während der andere wieder steigt. Achte darauf, wie weit sie am Ende auseinanderliegen.

Rechenbeispiel — Überanpassung: Gut anpassen, schlecht vorhersagen

Trainingsfehler, über 28 Punkte	0,1676
Der Abstand dazwischen	0,0379
Fehler der zurückgehaltenen Daten, relativ	1,23×
Das Rauschen, das niemand vorhersagen kann	0,2000
Wahrer Fehler, über das gesamte Fenster	0,2293

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Lektion

Die Theorie — Überanpassung: Gut anpassen, schlecht vorhersagen

Überanpassung beschreibt ein Modell, das das Rauschen der Stichprobe abbildet, an die es angepasst wurde. Lege ein Polynom vom Grad d durch n verrauschte Punkte, und der Trainingsfehler sinkt mit jedem zusätzlichen Grad. Jeder davon gibt dir eine weitere Möglichkeit, die Kurve in Richtung der Punkte zu biegen, die du bereits hast. Bei d = n − 1 verläuft die Kurve exakt durch alle Punkte; die Anpassung ist perfekt und wertlos. Der entscheidende Fehler ist jener auf Daten, die das Modell noch nie gesehen hat.

Was die einzelnen Symbole bedeuten

d: der Grad des Polynoms, also der Spielraum des Modells, sich zu krümmen
σ: das Rauschen, mit dem die Punkte gezogen wurden und das kein Modell vorhersagen kann

Setzt voraus: Dass das Rauschen von Punkt zu Punkt unabhängig ist und sich die zugrunde liegende Kurve nicht verschiebt. Sind die Fehler korreliert, etwa durch einen driftenden Sensor oder ein Marktregime, so sind auch zurückgehaltene Daten nicht unabhängig von den Trainingsdaten. Jede Zahl auf dieser Seite wird dann eher optimistisch als ehrlich.

Der Trainingsfehler verrät dir nicht, wann du aufhören solltest 🖖

Zieh den Grad von 0 auf 12 und beobachte die blaue Kurve. Sie steigt nie an. Kein einziges Mal, bei keiner Einstellung der anderen Regler: 144 Kombinationen aus wahrer Funktion, Stichprobengröße, Rauschen und Datenaufteilung wurden durchgespielt, ohne eine einzige Ausnahme. Der Grund dafür ist algebraisch, nicht statistisch. Jedes Polynom vom Grad 4 ist ein Polynom vom Grad 5 mit einem Koeffizienten von null. Ein höherer Grad kann also die Punkte, an die er angepasst wurde, immer mindestens genauso gut abbilden. Er übernimmt einfach das vorherige Ergebnis, wenn er es nicht schlagen kann. Das macht die Frage "Welcher Grad liefert den geringsten Trainingsfehler?" völlig informationslos, da die Antwort ohnehin immer der höchste Wert ist, den du probiert hast. Die blaue Kurve ist kein Diagnosewerkzeug. Sie misst lediglich, wie viel Freiheit du dem Modell eingeräumt hast.

Ein Testfehler unter dem Rauschen ist kein Können 🖖

Setze die wahre Funktion auf Gerade, die Stichprobengröße auf 40, das Rauschen auf 0,5 und die Aufteilung auf 70%. Bewege dann den Regler für den Grad von einem Ende zum anderen. Jeder einzelne Grad meldet einen Fehler der zurückgehaltenen Daten von unter 0,5. Bei Grad 1 liegt er sogar bei 0,2353. Das sollte eigentlich unmöglich sein. Die Daten bestehen aus einer Geraden plus Rauschen mit einer Standardabweichung von 0,5. Ein Modell, das diese Gerade exakt rekonstruiert, würde also im Schnitt jeden Punkt um etwa 0,5 verfehlen, und Rauschen lässt sich nicht vorhersagen. Die grüne Kurve zeigt denselben Fehler, aber exakt berechnet und nicht nur aus zwölf Punkten geschätzt. Bei Grad 1 zeigt sie 0,5037 an. Das ist eine Nuance über dem Rauschen und genau das, wie ein fast perfektes Modell aussieht. Die Kurve fiel in 468 Tests bei diesem Rauschpegel oder in 8.424 über den gesamten Bereich kein einziges Mal unter das Rauschen. Der Wert der zurückgehaltenen Daten hat also nicht das Modell bewertet. Er hat dir lediglich mitgeteilt, dass diese speziellen zwölf Punkte zufällig leicht zu treffen waren, und er lag um mehr als den Faktor zwei in eine für dich schmeichelhafte Richtung daneben.

Eine einzige Aufteilung wählt zu 42% die richtige Komplexität 🖖

Die beiden Dreiecke unter dem Fehlerdiagramm markieren den Grad, den der zurückgehaltene Datensatz wählt, und den Grad, der tatsächlich am besten ist. Bei 540 Kombinationen von Funktion, Stichprobengröße, Rauschen und Aufteilung landeten sie in 226 Fällen auf demselben Grad und in 325 Fällen innerhalb eines Grades. Der mittlere Abstand betrug 1,85 Grade. Die schlimmsten Ausreißer waren fünf Grade zu einfach und elf zu komplex. Die Abweichung ist auch nicht symmetrisch. Der zurückgehaltene Datensatz forderte 233 Mal ein komplexeres Modell als das richtige, aber nur 81 Mal ein einfacheres. Das liegt daran, dass ein kleiner Testdatensatz von einer Kurvenschwankung geschmeichelt werden kann, die zufällig genau durch ihn verläuft. Nichts davon ist ein Rechenfehler. Der Fehler der zurückgehaltenen Daten wird jedes Mal völlig korrekt berechnet. Das Problem ist vielmehr, dass eine einzige Zahl, berechnet aus einem Dutzend Punkten, nur ein unscharfes Bild der eigentlich gesuchten Größe abgibt. Die Lösung dafür ist, mehrere Aufteilungen zu mitteln, anstatt blind auf eine einzige zu vertrauen. Genau das ist Kreuzvalidierung, und diese Seite liefert das Argument dafür.

Aufgabe vollständig gelöst

Du hast sicher schon gehört, dass mehr Daten ein größeres Modell erlauben. Finde mit den beiden Funktionen, bei denen die Antwort abweicht, heraus, wann das stimmt und wann nicht. Beginne mit der Voreinstellung Eine gerade Wahrheit und danach Wahres Modell, wenig Daten. Vergleiche dann, was der Regler für die Stichprobengröße bei beiden bewirkt.

Öffne diese Aufgabe im Tool
1. Schauen wir uns zuerst die Gerade an. Setze die wahre Funktion auf Gerade und das Rauschen auf 0,6. Bewege nun die Stichprobengröße über ihren gesamten Bereich. Der Grad mit dem geringsten wahren Fehler liegt bei acht der elf Größen bei 1 und bei den anderen drei bei 2. Er steigt nie höher als 2 und fällt nie unter 1. Dabei ist kein Trend zu erkennen. Die Zweien treten bei 15, 20 und 50 Punkten auf, nicht am oberen Ende der Skala. Mehr Daten erkaufen dir hier also überhaupt keine zusätzlichen Grade.
  
  $straight truth : ar g d min risk (d) = 1 at eight of eleven sample sizes$
2. Betrachten wir nun das kubische Modell, bei dem sich diese Faustregel bewährt. Setze die wahre Funktion auf Kubisch, das Rauschen auf 0,6, die Aufteilung auf 70% und die Stichprobengröße auf 10. Das ergibt sieben Punkte für das Training. Der wahre Fehler bei Grad 3 beträgt 0,7297 und bei Grad 1 liegt er bei 0,6107. Eine einfache Gerade schlägt das richtige Modell hier also deutlich.
  
  $n = 10, n_{train} = 7 : risk (1) = 0.6107 < risk (3) = 0.7297$
3. Lies das noch einmal, denn das ist der überraschende Teil: Die Daten wurden tatsächlich von einer kubischen Funktion erzeugt, und trotzdem ist es ein Fehler, ein kubisches Modell anzupassen. Vier Koeffizienten, die aus sieben verrauschten Punkten geschätzt werden, sind derart ungenau bestimmt, dass ihr Fehler die erfasste Krümmung übersteigt.
  
  $four coefficients from seven noisy points : Var [\hat{f}] \propto \frac{d + 1}{n _{train}}$
4. Lass alles andere unverändert und ziehe die Stichprobengröße auf 40. Das sind nun achtundzwanzig Trainingspunkte. Grad 3 liefert 0,6496 und Grad 1 ergibt 0,6616. Das kubische Modell hat also die Führung übernommen und der Grad mit dem geringsten wahren Fehler ist 3.
  
  $n = 40, n_{train} = 28 : risk (3) = 0.6496 < risk (1) = 0.6616$
5. Die beiden Fälle unterscheiden sich in einem Punkt. Bei der Geraden enthält Grad 1 die Wahrheit bereits exakt. Egal wie viele Daten hinzukommen, es gibt keinen Grund, einen weiteren Koeffizienten hinzuzufügen. Es bleibt schlichtweg nichts mehr zu erklären. Beim kubischen Modell mit zehn Punkten enthält Grad 3 zwar ebenfalls die Wahrheit, aber die Stichprobe ist zu klein, um sie ausfindig zu machen.
  
  $n 1040 risk (1) 0.6107 0.6616 risk (3) 0.7297 0.6496 best degree 13$
Antwort

Mehr Daten erkaufen dir kein größeres Modell. Sie ermöglichen es dir lediglich, dir das Modell zu leisten, das du ohnehin gebraucht hättest. Die entscheidende Frage ist, ob deiner aktuellen Modellklasse etwas Reales fehlt. Ist das der Fall, geben dir mehr Daten irgendwann die Möglichkeit, dieses fehlende Puzzleteil zu greifen. Wenn nicht, ändern auch riesige Datenmengen nichts an der richtigen Komplexität. Deshalb verharrt die Gerade von zehn bis hundertzwanzig Punkten bei Grad 1. Das kubische Modell hingegen bewegt sich bei hohem Rauschen irgendwo zwischen zehn und vierzig Punkten von 1 auf 3. Diese Entwicklung verläuft auch nicht sauber. Die sieben Größen von 10 bis 60 ergeben 1, 1, 1, 4, 1, 3, 3. Das ist eher ein Trend, der von Stichprobenschwankungen überlagert wird, und keine saubere Treppe. Jede Stichprobengröße zieht eben ihre ganz eigene Stichprobe. Ein einzelner Durchlauf bei einer bestimmten Größe verrät dir nicht, welchen der beiden Fälle du gerade vor dir hast. Genau das ist die Lektion, die uns die beiden Dreiecke unter dem Fehlerdiagramm immer wieder vor Augen führen.

$more data \Rightarrow a bigger model only if bias (d_{now}) > 0$

Lernpfad

Eine Gerade an Daten anpassen

Quellen (3)

Why a high-degree polynomial through evenly spaced points swings wildly between them — the effect the top panel shows at degree 11 and above: C. Runge, “Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten.” Zeitschrift für Mathematik und Physik 46, 224–243, 1901.
The origin of the fix this page argues for but does not implement — averaging several splits instead of trusting one: M. Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions.” Journal of the Royal Statistical Society Series B 36(2), 111–133, 1974.
The standard treatment of everything on this page — the bias-variance decomposition, the shape of a test-error curve, and why a single split is a noisy estimate of it: T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning. Springer, 2009.

Vom 42Math-Team · Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen.