Lektion
Die Theorie — Kleinste-Quadrate-Geometrie-Explorer
“Kleinste Quadrate” benennt das, was minimiert wird: die Summe der quadratischen Residuen. Geometrisch gesehen entsprechen die angepassten Werte dem Punkt innerhalb der Kurvenschar des Modells, der den Daten am nächsten liegt — am nächsten im gewöhnlichen geradlinigen Sinn. Deshalb steht der verbleibende Residuenvektor am Ende senkrecht auf allem, was das Modell hätte erzeugen können.
Was die einzelnen Symbole bedeuten
residual- ein Abstand zwischen einem Datenpunkt und der angepassten Kurve, vertikal gemessen. Die Anzeige listet jeden einzelnen auf, bevor er quadriert wird.
SSE- die Summe der Fehlerquadrate — die Summe der Quadrate aller Residuen. Hier
1.3714für die Geradenanpassung. RMSE- die Wurzel aus dem mittleren quadratischen Fehler,
√(SSE/n) = 0.4781. Anders als die SSE besitzt sie dieselbe Einheit wie y, weshalb sie sich als anzugebende Kennzahl eignet. model- die Schar der zugelassenen Kurven. Der Wechsel von Gerade zu quadratisch erweitert diese Kurvenschar von zwei freien Parametern auf drei.
Woher die Formel kommt
- Jede infrage kommende Kurve erzeugt eine Liste angepasster Werte. Betrachte diese Liste als einen einzelnen Punkt im n-dimensionalen Raum und die Daten als einen weiteren Punkt dort.
- Die SSE ist dann im wahrsten Sinne des Wortes der quadratische Abstand zwischen diesen beiden Punkten. Die Minimierung der SSE bedeutet, den erreichbaren Punkt zu finden, der den Daten am nächsten liegt — eine Projektion, keine Suche.
- Und die definierende Eigenschaft einer Projektion besteht darin, dass der Fehler senkrecht auf allem Erreichbaren steht. Deshalb ergeben die Residuen einer besten Anpassung in der Summe stets null und zeigen keinerlei verbleibende Korrelation mit x: Jedes solche Muster wäre eine Richtung, in die sich das Modell noch hätte bewegen können.
So liest du, was du siehst
Zuerst die Punktanzahl, dann das angepasste Modell ausgeschrieben, danach die SSE Summanden für Summanden dargestellt — −0.7143² + 0.3714² + 0.4571² + ⋯ = 1.3714 —, sodass du siehst, welcher Punkt die Anpassung verschlechtert, bevor die Quadrate das Vorzeichen verbergen. Der RMSE folgt als gut lesbare Zusammenfassung am Schluss.
- Setzt voraus
- Nur vertikale Abstände, sodass x als exakt behandelt wird und jeder Punkt gleich gewichtet ist. Das Modell muss zudem linear in seinen Parametern sein — was auf eine quadratische Funktion trotz der Krümmung weiterhin zutrifft, da
x²nur mit einer Konstante multipliziert eingeht. - Versagt, wenn
- Eine kleinere SSE bedeutet keineswegs ein besseres Modell — und das kannst du hier mit einem Klick beweisen. Wechsle von Gerade zu quadratisch und die SSE fällt von
1.3714auf0.4071— sie musste zwangsläufig fallen, da eine quadratische Funktion jede Gerade als Spezialfall enthält, bei dem der Koeffizient vonx²null ist. Ein Modell mit mehr Freiheitsgraden kann sich nicht schlechter anpassen; daher kann die SSE allein niemals verraten, ob der zusätzliche Term echt ist oder lediglich Rauschen anpasst.
Übung
Prüfe dich selbst
Sage die Antwort zuerst voraus und probiere es dann oben aus. Zeige die Lösung erst, wenn du dich entschieden hast — genau das macht es zur Übung.
-
Drücke Bremsweg mit Gerade: sechs Punkte, eine Geradenanpassung, SSE
84. Drücke nun Bremsweg mit Kurve — dieselben sechs Punkte, quadratisch angepasst. Sage die neue SSE voraus.Antwort anzeigen
0. Nicht fast null: null, mit RMSE0und der angepassten Kurveŷ = 8 − 0.25x + 0.015x². Diese sechs Punkte stammen exakt von dieser Parabel, und sobald die Familie der zugelassenen Kurven die Wahrheit enthält, bleibt nichts mehr zum Quadrieren übrig. Eine fallende SSE für sich beweist nichts — eine größere Familie kann nie schlechter passen. Ein Rückgang bis auf null ist von anderer Art, denn es bleibt kein Residuum, das ein weiteres Modell noch beseitigen könnte. -
Drücke Kursbindung, dort passt eine Gerade mit SSE
1.3714und einem SSE-Anteil des größten Punkts von37.2%. Stelle die Modellauswahl auf Quadratisch. Die SSE wird fallen — sage voraus, was der Anteil des größten Punkts tut.Antwort anzeigen
Er steigt, auf56.3%, während die SSE auf0.4071fällt. Ein Anteil ist kein Betrag: Die zusätzliche Freiheit zog die Kurve zu den Punkten, die sie erreichen konnte, sodass der eine, den sie weiterhin nicht erreicht, nun einen größeren Bruchteil einer kleineren Summe ausmacht. Eine Warnung, solange du hier bist — jede Voreinstellung stellt die Auswahl auf Gerade zurück, diese Zahlen bedeuten das also nur, solange Quadratisch noch angezeigt wird. -
Zurück zu Bremsweg mit Gerade. Die Anzeige nennt fünf der sechs Residuen vor ihrem
⋯:5,−1,−4,−4,−1. Wie lautet das sechste, und was sagen dir alle sechs zusammen, was die SSE84nicht sagt?Antwort anzeigen
+5. Die Residuen einer Kleinste-Quadrate-Anpassung summieren sich immer zu null, und die fünf gezeigten ergeben−5; das fehlende ist damit erzwungen. Genau diese Form zeichnet das Residuendiagramm: zwei hohe Balken nach oben an den Enden, vier in der Mitte nach unten, ein sauberes U. Sich zu null zu summieren und keine Schieflage gegen x zu lassen, ist alles, was die Methode garantiert, und ein symmetrisches U erfüllt beides — seine Residuen summieren sich tatsächlich zu null, und es neigt sich nach keiner Seite — eine Gerade kann es also weder aufnehmen noch bemerken. Die SSE sagt, dass die Anpassung locker sitzt; erst das Muster sagt, dass sie in jeweils einer Richtung locker sitzt.
Aufgabe vollständig gelöst
-
Sechs Punkte mit einer Fehlerquadratsumme von 1,3714 5 Schritte
Sechs Punkte, eine angepasste Ausgleichsgerade und eine Residualquadratsumme von 1,3714. Bestimmen Sie, wie viel dieser Gesamtsumme auf einen einzelnen Punkt zurückgeht — und beweisen Sie eine Eigenschaft der Residuen, die für jede jemals berechnete Kleinste-Quadrate-Anpassung gilt.
-
Die Koeffizienten ergeben sich aus denselben zwei Summen wie bei jeder einfachen Regression: wie x und y gemeinsam variieren, geteilt durch wie x allein variiert.
-
Das ergibt die Gerade, die das Feld ausgibt. Nichts an diesen Daten ist besonders — es ist ein nahezu geradliniger Verlauf von sechs Punkten mit geringer Streuung.
-
Die Residuen sind das, was die Anpassung nicht erklären konnte. Berechnet man alle sechs, fällt einer auf: Der Punkt bei x = 0 weicht um −0,7143 ab, etwa das Doppelte des typischen Fehlers.
-
Bevor Sie sie verwenden, fällt auf, dass ihre Summe null ergibt — nicht näherungsweise, sondern exakt. Das wird durch den Achsenabschnitt erzwungen: Die zweite Normalengleichung ist die Aussage, dass der Mittelwert der Residuen null beträgt. Somit gilt dies für jede Kleinste-Quadrate-Gerade, unabhängig von den Daten.
-
Das Quadrieren zerstört dieses Gleichgewicht, und genau das ist der Punkt. Aus −0,7143 wird 0,5102, was 37,2% der gesamten Residualquadratsumme von 1,3714 entspricht — ein einziger Punkt unter sechs trägt mehr als ein Drittel der Abweichungsquadrate.
Antwort
Das Werkzeug gibt SSE = 1,3714, RMSE = 0,4781 und einen Anteil des größten Punktes von 37,2% aus. Beide Tatsachen sind wichtig und stehen im Widerspruch zueinander. Dass die Summe der Residuen null beträgt, bedeutet, dass die Gerade ausbalanciert ist; die 37,2% zeigen, dass die Anpassung es nicht ist, da das Quadrieren eine doppelt so große Abweichung vierfach gewichtet. Genau deshalb ist die Methode der kleinsten Quadrate so empfindlich gegenüber Ausreißern und deshalb bietet die Eigenschaft, dass die Summe der Residuen null ist, keinerlei Schutz: Ein einzelner abweichender Punkt kann das mittlere Residuum nicht verschieben und dennoch das dominieren, was die Gerade zu minimieren versucht.
-
Lernpfad
Eine Gerade an Daten anpassen
Quellen (1)
- Least squares as an orthogonal projection, which is what makes the residuals perpendicular to the model: G. Strang, Introduction to Linear Algebra, 5th ed., chapter 4 (“Orthogonality”). Wellesley-Cambridge Press, 2016. ISBN 978-0-9802327-7-6.