レッスン
理論 — 線形回帰
最小二乗直線とは、データ点と直線の間の垂直方向の誤差の二乗の合計をできる限り小さくする唯一の直線です。二乗する理由は2つあります。直線の上側と下側の誤差同士が打ち消し合わないようにするため、そして、1つの大きな誤差が複数の小さな誤差よりも大きく影響するようにするためです。
各記号の意味
b- 傾き — x の1単位あたりの y の変化量。
a- 切片 —
x = 0がデータの範囲内にあるかどうかに関わらず、x = 0における y の当てはめ値。 ŷ- 当てはめ値：与えられた x に対して直線が予測する値。ハット記号によって、実際の観測値 y と区別されます。
R²- 0 から 1 の間をとる、y の変動のうち直線によって説明される割合。
r- ピアソンの r（相関係数） —
R²と同じ情報量ですが符号が付いているため、方向も表します。
公式の導き方
- 最小化すべき量を書き出します：すべての点について和をとった
S = Σ(y − a − b·x)²です。 Sは a と b の滑らかな関数であるため、その最小値では両方の偏導関数が 0 になります。これらを 0 とおくことで、a と b に関する2つの線形方程式（正規方程式）が得られます。- これらを傾きについて解くと
b = (n·Σxy − Σx·Σy) / (n·Σx² − (Σx)²)が得られます。これは上の計算過程に5つの合計値を代入した式です：(5·69.7 − 15·19.8) / (5·55 − 15²) = 51.5 / 50 = 1.03。
- 前提
- 前提として、最初から直線関係が適切であること、そしてすべての誤差が y にのみ存在することを仮定しています。最小化されるのは垂直方向の誤差であるため、x は正確に既知であるとして扱われます。また、他の点からどんなに離れていても、すべての点が等しい重みを持ちます。
- 成り立たない場合
- この直線は、データの範囲がどこで終わっているかを考慮しません。デフォルトのデータ点は
x = 1からx = 5までですが、x = 6での予測を求めると、元となったすべての観測値を超えて外挿していることに何らの警告もなくŷ(6) = 7.05を返します。高いR²も気休めにはなりません。R²は直線がどれだけ当てはまっているかを測るものであり、そもそも直線で当てはめることが正しかったかどうかを示すものではないからです。
練習
自分で確かめる
まず答えを予想し、それから上のコントロールで確かめてください。予想を決めてから答えを開くこと。それが練習になる条件です。
-
スピアマン ρ=1を押してください。点
1, 2.5, 5, 9, 16, 28は一歩ごとに必ず上がっており、プリセット名がすでにρ = 1だと明かしています。では同じ点について、ピアソンのrを予想してみましょう。答えを表示
0.9382、R² = 0.8803です。高い値ですが、ρが示す1にはまったく及びません。ρの計算過程がその理由を見せてくれます。xとyの順位が位置ごとに完全に一致するのでΣd² = 0となり、式は1 − 0に縮まります。ピアソンが測っているのは順序ではなく直線性であり、これらの点は曲がっています。完全に順序立っていることと完全に直線的であることは別の性質で、このデータはその2つを引き剥がして見せてくれます。 -
同じプリセットです。下の警告は点
(6, 28)を高レバレッジ点として、クックの距離D ≈1.7931と示しています。この点は誤りなのでしょうか。答えを表示
いいえ — ここにある他のどの点とも同じくらい正しい点です。クックのDが測るのは、その点を除いたときに回帰直線がどれだけ動くかであって、点が正しいかどうかではありません。この点が直線を大きく動かす理由は、データの質とはまったく関係がありません。傾向は曲がっているのにフィットは直線で、その曲線のいちばん先にある点こそ、直線がもっとも扱いに困る点だからです。レバレッジが表すのは位置であって、決して間違いではありません。 -
相関なしを押してください。目立った傾向のまったくない散布図です。ページは直線のフィットを拒否するでしょうか。
答えを表示
拒否することはありません。出てくるのはŷ = 4 + 0.1429·xで、他のどんなフィットとも寸分違わぬ自信をもって表示されます。違いを匂わせるのはR² = 0.0137と弱い相関という注記だけです。最小二乗法は常に「利用できるなかで最良の直線」を返します。この方法に「ここには関係がない」という概念はなく、あるのは「二乗した隔たりの合計が最小」という概念だけです。そもそも直線がふさわしかったのかを判断するのはあなたであり、出力のどこもそれを代わりに決めてはくれません。
全プロセスの詳細解説
-
y = 0.87 + 1.03xの傾きと切片の導出 5 ステップ
5つの点、および R² = 0.996 である最良適合線 y = 0.87 + 1.03x。傾きと切片を最初から導出し、パネルでは言及されない、すべての最小二乗線に共通する性質を証明しなさい。
-
どちらの係数も平均からの偏差をもとに作られているため、まず平均を求める。
-
最小二乗法は垂直残差の二乗和を最小化する。その和を微分して 0 と置くことで正規方程式が得られ、その解は 2 つの和の比、すなわち x と y がともにどう変動するかを、x 単独の変動で割ったものとなる。
-
傾きは 1.03 となる。第 2 の正規方程式は単に残差の和がゼロになるという条件であるため、それ以上の最小化計算を行わずに切片が導かれる。
-
相関係数は、同じ 2 つの和に y の変動を加えたものを使用する。これを 2 乗すると R² = 0.996 となり、これは直線が説明する y の変動の割合を表す。
-
次に性質の証明に移る。切片は ȳ − b·x̄ と定義されたため、直線の式に x̄ を代入すると、正確に ȳ が得られる。
解答
ツールには、傾きが1.03、切片が0.87、R² = 0.996、r = 0.998と表示されます。ここで最も大切なのは最後に確かめた事実です。点の配置によらず、最小二乗法で求めた直線は必ずデータの平均点を通ります。これはこのデータだけの性質ではなく、切片の公式から必然的に導かれます。そのため、点を動かすと回帰直線は全体が平行にずれるのではなく、重心を中心に向きを変えます。近似直線が正しいかを手早く確かめる方法でもあります。xの平均を代入してyの平均にならなければ、計算が誤っています。外れ値のプリセットも試してみましょう。データが新しいものに切り替わり、y = 2x上に正確に並ぶ五点に、六つ目の点(6, 30)が加わります。この点によって傾きは2から4.57に、切片は−6になりますが、直線は新しい平均点(3.5, 10)を正確に通っています。
-
学習の道すじ
データへの直線あてはめ
参考文献 (1)
- Who invented least squares, and the long argument about it — Legendre published first, Gauss claimed priority: S. M. Stigler, “Gauss and the Invention of Least Squares.” The Annals of Statistics 9, 1981.