PCA 2D/3D ビジュアライザー

主成分分析は共分散行列の直交固有ベクトルをアルゴリズム的に分離することで高次元データを再構築します。この線形次元削減は分散を最大化し、確率的ノイズを排除することで教師なし機械学習の基礎を確立します。

主成分分析は、点の集まりが最も大きく広がる一本の直線を探し、その上での各点の位置を測ります。寄与率は、その一本の直線がばらつきのどれだけを保っているかを示します。ここでは PC1 が約 85% を超えると、平らな1次元の要約でもほとんど情報を失わないとツールが知らせます。サンプルを切り替えて、強く相関した点群がほぼすべてのばらつきを PC1 に譲る様子を見てみましょう。

PC1 をふつうの最小二乗の回帰直線と同じだと考えたくなりますが、両者が最小化するものは異なります。線形回帰は直線までの縦方向(y方向)の距離を最小化するのに対し、主成分分析は各点から直線への垂線距離を最小化します。同じ点でも二本の直線は実際に食い違います。カール・ピアソンはまさにこの垂直な最も近い当てはめ直線を1901年に発表しており、これは主成分という語が生まれる約30年前のことです。