線形回帰

最小二乗法は残差の二乗和を最小化するため、傾向から離れた点は二乗的に大きなペナルティを受け、通常の点よりもはるかに強く直線を自分の方へ引き寄せます。クックの距離はまさにそれを測定します — その一点を取り除いたときに、当てはめた直線がどれだけ動くかということです。R²が高くても、これを覆い隠すことがあります — 他の点群がほとんど無相関であっても、影響力の大きい一点が相関を見かけ上高くすることがあります。マークされた点を外側にドラッグして、傾きがそれを追いかける様子を確かめてください。

このツールは、すべての点に同時にもっとも近い1本の直線を引きます。「もっとも近い」とは、各点と直線との縦方向のずれの2乗の合計が最小になることを意味し、そのずれが小さな棒で示された残差です。R² は、y のばらつきのうち直線が説明できる割合を表します。R² = 0.8 なら、直線はばらつきの 80% を説明し、残り 20% は説明できていないことになります。

x から y を当てはめると縦方向のずれが最小になりますが、y から x を当てはめると横方向のずれが最小になります。同じ点群に対して2本の異なる直線ができますが、どちらも平均点 (x̄, ȳ) を通ります。この2本の傾きを掛け合わせると、ちょうど r² になります。つまり見慣れた r は2つの回帰直線の傾きの幾何平均であり、2本の直線が一致するのは当てはめが完全なとき (r = 1) だけです。