Lineare Regression

Die Methode der kleinsten Quadrate minimiert die Summe der quadrierten Residuen, daher wird ein weit vom Trend entfernter Punkt quadratisch bestraft — er zieht die Gerade viel stärker zu sich als ein gewöhnlicher Punkt. Die Cook-Distanz misst genau das: wie stark sich die angepasste Gerade verschieben würde, wenn dieser eine Punkt entfernt würde. Ein hohes R² kann das ebenfalls verschleiern — ein einzelner einflussreicher Punkt kann die Korrelation aufblähen, selbst wenn der Rest der Punktwolke kaum korreliert ist. Ziehe den markierten Punkt nach außen und beobachte, wie die Steigung ihm folgt.

Das Werkzeug zeichnet die eine Gerade, die allen Punkten gleichzeitig am nächsten liegt. "Am nächsten" heißt: die kleinste Summe der quadrierten senkrechten Abstände zwischen jedem Punkt und der Geraden — diese Abstände sind die Residuen, hier als kleine Striche dargestellt. R² gibt dann an, wie viel der Streuung von y die Gerade erfasst: R² = 0.8 bedeutet, die Gerade erklärt 80% der Streuung, 20% bleiben unerklärt.

y aus x zu schätzen minimiert die senkrechten Abstände, x aus y zu schätzen dagegen die waagerechten — zwei verschiedene Geraden durch dieselbe Punktwolke, obwohl beide durch den Mittelwertpunkt (x̄, ȳ) gehen. Multipliziert man ihre beiden Steigungen, erhält man genau r². Das vertraute r ist also das geometrische Mittel der beiden Regressionssteigungen, und die Geraden fallen nur bei perfektem Fit zusammen (r = 1).