Lektion
Die Theorie — Lineare Regression
Die Kleinste-Quadrate-Gerade ist diejenige Gerade, die die Summe der quadrierten vertikalen Abstände zwischen den Punkten und der Geraden so klein wie möglich macht. Quadriert aus zwei Gründen: damit sich Abweichungen nach oben und unten nicht gegenseitig aufheben und damit eine einzelne große Abweichung schwerer ins Gewicht fällt als mehrere kleine.
Was die einzelnen Symbole bedeuten
b- die Steigung — um wie viel sich y pro Einheit von x ändert.
a- der Y-Achsenabschnitt — der angepasste Wert von y bei
x = 0, unabhängig davon, obx = 0überhaupt in der Nähe der Daten liegt. ŷ- ein angepasster Wert: was die Gerade für ein gegebenes x vorhersagt. Das Dach unterscheidet ihn von einem beobachteten y.
R²- der Anteil der Variation in y, den die Gerade erklärt, zwischen 0 und 1.
r- Pearson’s r, die Korrelation — dieselbe Information wie
R², aber mit Vorzeichen, sodass sie auch die Richtung angibt.
Woher die Formel kommt
- Stelle die zu minimierende Größe auf:
S = Σ(y − a − b·x)², summiert über alle Punkte. Sist eine glatte Funktion von a und b, sodass an ihrem Minimum beide partiellen Ableitungen gleich null sind. Setzt man sie gleich null, erhält man zwei lineare Gleichungen in a und b — die Normalengleichungen.- Löst man diese nach der Steigung auf, erhält man
b = (n·Σxy − Σx·Σy) / (n·Σx² − (Σx)²)— die oben gezeigte Formel mit den fünf eingesetzten Summen:(5·69.7 − 15·19.8) / (5·55 − 15²) = 51.5 / 50 = 1.03.
- Setzt voraus
- Dass eine Gerade von vornherein die richtige Form ist und dass der gesamte Fehler in y liegt: Es werden die vertikalen Abstände minimiert, sodass x als exakt bekannt behandelt wird. Jeder Punkt geht außerdem mit gleichem Gewicht ein, egal wie weit er von den übrigen entfernt liegt.
- Versagt, wenn
- Die Gerade weiß nicht, wo die Daten aufhören. Die Standardpunkte reichen von
x = 1bisx = 5; fordert man eine Vorhersage fürx = 6an, liefert sie ohne jedes Zögernŷ(6) = 7.05, obwohl sie nun über alle Beobachtungen hinaus extrapoliert, auf denen sie basiert. Auch ein hohesR²bietet keinen Schutz — es misst, wie gut eine Gerade passt, aber niemals, ob eine Gerade überhaupt das richtige Modell war.
Übung
Prüfe dich selbst
Sage die Antwort zuerst voraus und probiere es dann oben aus. Zeige die Lösung erst, wenn du dich entschieden hast — genau das macht es zur Übung.
-
Drücke Spearman ρ=1: Die Punkte
1, 2.5, 5, 9, 16, 28steigen bei jedem einzelnen Schritt, und der Name der Voreinstellung verrät bereitsρ = 1. Sage Pearsons r für dieselben Punkte voraus.Antwort anzeigen
0.9382, mitR² = 0.8803— hoch, und weit entfernt von der 1, die ρ meldet. Die ρ-Rechnung zeigt, warum der Wert exakt 1 ist: Die Ränge von x und y stimmen Position für Position überein, also istΣd² = 0und die Formel fällt auf1 − 0zusammen. Pearson misst nicht die Reihenfolge, sondern die Geradlinigkeit, und diese Punkte krümmen sich. Vollständig geordnet und vollständig linear sind verschiedene Eigenschaften, und dieser Datensatz zieht sie auseinander. -
Dieselbe Voreinstellung. Die Warnung darunter markiert den Punkt
(6, 28)als einflussreich, Cooks D ≈1.7931. Ist dieser Punkt ein Fehler?Antwort anzeigen
Nein — er ist so solide wie jeder andere Punkt hier. Cooks D misst, wie weit sich die angepasste Gerade verschieben würde, wenn man einen Punkt weglässt, nicht ob der Punkt richtig ist. Dieser verschiebt die Gerade weit, und zwar aus einem Grund, der mit Datenqualität nichts zu tun hat: Der Trend krümmt sich, die Anpassung ist gerade, und der am weitesten außen auf dieser Krümmung liegende Punkt ist der, mit dem eine Gerade am meisten kämpft. Einfluss beschreibt eine Position, nie einen Fehler. -
Drücke Keine Korrelation — eine Punktwolke ganz ohne sichtbaren Trend. Weigert sich die Seite, eine Gerade anzupassen?
Antwort anzeigen
Sie weigert sich nie. Heraus kommtŷ = 4 + 0.1429·x, gedruckt mit genau der Selbstsicherheit jeder anderen Anpassung, und nurR² = 0.0137und der Hinweis Schwache Korrelation deuten etwas anderes an. Die Methode der kleinsten Quadrate liefert immer die beste verfügbare Gerade; sie kennt kein „hier gibt es keinen Zusammenhang“, nur „die kleinste Summe quadrierter Abstände“. Ob eine Gerade überhaupt angebracht war, ist dein Urteil, und nichts in der Ausgabe fällt es für dich.
Aufgabe vollständig gelöst
-
Ableitung der Steigung und des Achsenabschnitts für y = 0,87 + 1,03x 5 Schritte
Fünf Punkte und eine Ausgleichsgerade von y = 0,87 + 1,03x mit R² = 0,996. Leiten Sie Steigung und Achsenabschnitt von Grund auf ab und beweisen Sie anschließend eine Eigenschaft jeder Kleinste-Quadrate-Gerade, die im Bedienfeld nie erwähnt wird.
-
Am Anfang stehen die Mittelwerte, da beide Koeffizienten aus den Abweichungen um diese gebildet werden.
-
Die Methode der kleinsten Quadrate minimiert die Summe der quadrierten vertikalen Residuen. Die Ableitung dieser Summe und deren Gleichsetzung mit Null liefert die Normalgleichungen, deren Lösung der Quotient zweier Summen ist: wie x und y gemeinsam variieren, dividiert durch die Variation von x allein.
-
Die Steigung beträgt 1,03. Der Achsenabschnitt folgt dann ohne weitere Minimierung, da die zweite Normalgleichung schlicht die Bedingung ist, dass die Summe der Residuen Null ergibt.
-
Die Korrelation nutzt dieselben zwei Summen sowie die Variation von y. Ihr Quadrat ergibt R² = 0,996, also den Anteil der Variation von y, den die Gerade erklärt.
-
Nun zur Eigenschaft: Der Achsenabschnitt wurde als ȳ − b·x̄ definiert; setzt man also x̄ wieder in die Gerade ein, erhält man exakt ȳ.
Antwort
Das Werkzeug gibt eine Steigung von 1,03, einen Achsenabschnitt von 0,87, R² = 0,996 und r = 0,998 aus. Entscheidend ist der letzte Schritt: Jede Ausgleichsgerade nach der Methode der kleinsten Quadrate verläuft durch den Schwerpunkt der Daten, unabhängig von der Lage der Punkte. Das ist keine Besonderheit dieses Datensatzes, sondern folgt aus der Formel für den Achsenabschnitt. Deshalb dreht sich eine Regressionsgerade um den Schwerpunkt, wenn du einen Punkt verschiebst, statt sich als Ganzes zu verlagern. Zugleich ist dies die schnellste Plausibilitätsprüfung für eine angepasste Gerade: Setze den Mittelwert von x ein. Erhältst du nicht den Mittelwert von y, ist die Anpassung falsch. Probiere die Voreinstellung für einen Ausreißer aus. Sie lädt einen neuen Datensatz mit fünf Punkten, die genau auf y = 2x liegen, und einem sechsten Punkt bei (6, 30). Dieser sechste Punkt zieht die Steigung von 2 auf 4,57 und den Achsenabschnitt auf −6, während die Gerade weiterhin genau durch den neuen Schwerpunkt (3,5, 10) verläuft.
-
Lernpfad
Eine Gerade an Daten anpassen
Quellen (1)
- Who invented least squares, and the long argument about it — Legendre published first, Gauss claimed priority: S. M. Stigler, “Gauss and the Invention of Least Squares.” The Annals of Statistics 9, 1981.