Dies ist eine maschinelle Übersetzung; die englische Fassung ist das Original. Original lesen
Es gibt zwei Regressionsgeraden, und R² ist der Abstand zwischen ihnen
Vertauscht man, welche Variable als Eingabe dient, verschiebt sich die Regressionsgerade. R² gibt genau an, wie weit.
Die Methode der kleinsten Quadrate sucht die Gerade, die die Summe der Abweichungsquadrate minimiert. Der Begriff verbirgt eine Entscheidung: In welcher Richtung werden die Abweichungen gemessen?
Die Regression von y auf x minimiert vertikale Abstände. Die Regression von x auf y minimiert horizontale Abstände. Dies sind unterschiedliche Problemstellungen mit verschiedenen Antworten, und beide werden als Regressionsgerade bezeichnet.
Die beiden Steigungen
Schreibt man r für die Korrelation und s für die Standardabweichungen, so hat die Regressionsgerade von y auf x die Steigung r·sy/sx. Die Regressionsgerade von x auf y, im selben Achsensystem eingezeichnet, hat die Steigung sy/(r·sx).
Dividiert man die eine durch die andere, kürzt sich alles heraus bis auf r².
Das ist weder Zufall noch Näherung. Das Verhältnis der beiden Steigungen ist R² – die Zahl, die jedes Statistikprogramm ausgibt und die meisten Leser als vagen Wert auf einer Skala bis eins betrachten.
Warum das niemandem auffällt
Öffnet man Linear Regression, weist das Werkzeug für seine Standardpunkte Pearsons r = 0,998 mit R² = 0,996 aus. Quadriert man den ersten Wert, erhält man exakt den zweiten.
Das bedeutet auch, dass sich die beiden Geraden bei diesen Standarddaten um 0,4% unterscheiden. Man könnte den Unterschied nicht erkennen, selbst wenn beide eingezeichnet wären, was genau der Grund ist, warum die Zweideutigkeit unbemerkt bleibt: Demonstrationsdaten sind fast immer stark korreliert.
Lockert man diese Korrelation, weichen die beiden Geraden rasch voneinander ab:
- r = 0,9 → die Steigungen unterscheiden sich um 19%
- r = 0,5 → eine Steigung ist viermal so groß wie die andere
- r = 0 → eine Gerade verläuft waagerecht, die andere senkrecht
Bei einer Korrelation von null stehen die beiden Lösungen rechtwinklig zueinander. Sie sind dennoch beide korrekt, da jede der beste Prädiktor für ihre jeweilige Zielgröße ist.
Der Fall r = 0,5 in Zahlen
Betrachten wir zwei Variablen mit gleicher Streuung und einer Korrelation von 0,5. Die Vorhersage von y aus x ergibt eine Steigung von 0,5: Ein Punkt, der eine Standardabweichung rechts vom Mittelwert liegt, sagt eine halbe Abweichung über dem Mittelwert voraus.
Nun sagen wir x aus y voraus. Diese Steigung beträgt im eigenen Bezugssystem ebenfalls 0,5, aber auf den ursprünglichen Achsen dargestellt wird sie zu 1/0,5 = 2.
Eine Gerade steigt mit 0,5, die andere mit 2 durch dieselbe Punktwolke, und 0,5 / 2 = 0,25, was r² entspricht. Keine von beiden ist eine schlechtere Anpassung als die andere. Sie beantworten unterschiedliche Fragen, und die Daten allein können nicht verraten, welche gemeint war.
Das ist die Regression zur Mitte
In Standardabweichungen ausgedrückt lautet die Regressionsgerade von y auf x einfach zy = r · zx. Da r höchstens 1 ist, liegt die Vorhersage immer näher am Mittelwert als der Eingabewert.
Große Väter haben Söhne, die zwar groß sind, aber näher am Durchschnitt liegen. Auf ein spektakuläres Jahr folgt bei Unternehmen meist ein lediglich gutes. Keines von beidem benötigt eine Ursache, und die Falle liegt darin, dass der Effekt symmetrisch ist: Diese Söhne haben ihrerseits Väter, die dem Durchschnitt näher sind als sie selbst. Jede Erklärungsgeschichte, die das Phänomen in einer Richtung begründet, wird durch die andere widerlegt.
Galton nannte es Regression in Richtung Mittelmaß, und das Wort Regression blieb deswegen an dem gesamten Verfahren haften.
Wenn keine der beiden Geraden die gewünschte ist
Beide Geraden setzen voraus, dass eine Variable fehlerfrei gemessen wird. Sind beide messfehlerbehaftet, etwa beim Vergleich zweier Messgeräte, sind beide Geraden verzerrt und die Antwort liegt dazwischen.
Least-Squares Geometry veranschaulicht das zugrundeliegende Bild: Die Anpassung ist eine Projektion, und welche Gerade man erhält, hängt von der Projektionsrichtung ab. Die Standardanpassung weist eine SSE von 1,3714 aus, wovon 37,2% auf einen einzelnen Punkt entfallen – was die andere Eigenschaft ist, die die Methode der kleinsten Quadrate stillschweigend mit sich bringt. Das Quadrieren der Abweichungen führt dazu, dass ein einzelner ferner Punkt viele nahe Punkte überstimmen kann.
Bevor man also eine Steigung angibt, sollte man entscheiden, wofür sie dienen soll. Die Vorhersage von y aus x ist die eine Frage, die Schätzung einer physikalischen Beziehung zwischen zwei messfehlerbehafteten Größen eine andere – und nur für die erste gibt es eine einzige, naheliegende Gerade.