SVD分解エクスプローラー

行列を方向、伸縮の強さ、そして低ランク再構成に分解します。

計算例 — SVD分解エクスプローラー

保持されたエネルギー	88.1%
失われたエネルギー	11.9%
再構成誤差	34.5%
数値的ランク	3
Σ: 伸縮の強さ	3.5915150003.1622780001.760971

ページを開いたときに計算機が表示する値です。上の入力を変えると再計算されます。

インタラクティブシミュレーションを読み込んでいます...

SVD を打ち切るのは証明つきで最良の方法 🖖

大きいほうから k 個の特異値だけを残して他を捨てると、そこそこ良い階数 k の近似が得られる、という話ではありません。それが最適解なのです。エッカート–ヤング–ミルスキーの定理によれば、階数 k の他のどんな行列も、フロベニウスノルムでもスペクトルノルムでも、元の行列にこれより近づくことはできません。誤差は見積もりではなく厳密に定まります。スペクトルノルムでは、捨てた最初の特異値そのもの σ_k+1 に等しく、フロベニウスノルムでは捨てたすべての値の 2 乗和の平方根になります。画像圧縮、主成分分析、潜在意味インデックスがどれも同じ一つの指示に帰着する理由は、この定理ひとつです。SVD を計算し、そこで打ち切る。それだけです。

どんな行列も層の積み重ね 🖖

特異値分解は、どんな行列も単純なランク1の層の重み付き和として書き直します。各層は左側と右側の1つずつのパターンから作られ、特異値の大きい順に並びます。各特異値を2乗すると、その層が行列全体のエネルギーのどれだけを担うかがわかります。上位の数層だけ残せば、ごくわずかな数値からデータの大部分を復元できます。だからこそ、保持エネルギーのバーは最初に急激に立ち上がるのです。

役立つ前に五回発見された 🖖

特異値分解はコンピュータ時代の発明ではありません。ベルトラミ(1873年)、ジョルダン(1874年)、シルベスター(1889年)、シュミット(1907年)、ワイル(1912年)がそれぞれ独立に導き出した、応用の当てのない純粋な行列理論でした。数値的に安定した計算法は1965年にゴルブとカハンが発表して初めて実現し、それがここに見えるすべて——画像圧縮、ノイズ除去、検索エンジン、レコメンダーシステム——への扉を開いたのです。

全プロセスの詳細解説

エネルギーを88.1%保持した際の3つの特異値と34.5%の誤差 6 ステップ
このページの行列の3つの特異値を手計算で求めよ（固有多項式は因数分解できる）。そのうえで、エネルギーの88.1%を保持してもなお34.5%の誤差が残る理由を説明せよ。
1. 特異値は AᵀA の固有値の平方根であるため、まずその積を計算する。AᵀA は対称行列であり、固有値が実数かつ非負であることが保証される。
  
  $A = 3 - 1 0 130112, A^{⊤} A = 10020104246$
2. AᵀA − λI の行列式が因数分解できる点が好都合である。第1列から括弧がきれいに括り出され、2次式が残る。
  
  $det (A^{⊤} A - λ I) = (10 - λ) [(10 - λ) (6 - λ) - 20] = 0$
3. 1つの固有値は正確に 10 であり、残りの2つは2次方程式の根となる。根号表示が厳密解であり、小数表示がそれに続く。
  
  $λ = 10; λ^{2} - 16 λ + 40 = 0 \Rightarrow λ = 8 \pm 26 = 12.8990, 3.1010$
4. 平方根をとる。検算は容易である。3つの特異値の2乗の和は AᵀA のトレース（対角成分の和）に等しくなければならず、対角成分の和は 26 である。
  
  $σ = λ : 3.591515, 3.162278, 1.760971; \sum σ^{2} = 26 = tr (A^{⊤} A)$
5. 2つの方向を保持することは、その 26 のうちの対応する割合を保持することを意味する。フロベニウス誤差は切り捨てられた割合の平方根であり、その平方根こそが求める答えである。
  
  $kept = \frac{12.8990 + 10}{26} = 88.1%, lost = \frac{3.1010}{26} = 11.9%, \frac{∥ A - A _{2} ∥ _{F}}{∥ A ∥ _{F}} = 0.119 = 34.5%$
6. 同じ3つの数値からさらに2つの等式が得られる。それらの積は行列式の絶対値であり、それらの比は条件数である。2.04 という値から、この行列の挙動はきわめて良好であり、34.5% は特異近傍によるものではなく、本質的な第3の方向が存在することを示している。
  
  $σ_{1} σ_{2} σ_{3} = 20 = ∣ det A ∣, κ = \frac{σ _{1}}{σ _{3}} = 2.04$
解答

誤差が平方根だからである（√0.119 = 0.345）。エネルギーは特異値の2乗で測定され、誤差は2乗されていない特異値で測定されるため、エネルギーの8分の1を切り捨てるとノルムの3分の1を失うことになる。パネル上の2つの数値は、同じ事実を2つの異なる尺度で表したに過ぎない。「分散の95%を保持した」というあらゆる主張には罠があり、95%のエネルギー保持であっても22%の再構成誤差となり、99%であってもなお10%の誤差が残る。エッカートとヤングは1936年に、ランク2の行列で34.5%を超える精度を出せるものは存在しないことを証明した。したがって、これは打ち切りの問題ではなく、行列自体によって定まる下限である。

$kept 88.1% \Rightarrow error = 1 - 0.881 = 34.5%$

学習の道すじ

ものを動かす行列

この次に主成分

参考文献 (2)

The five independent discoveries block 3 lists: G. W. Stewart, "On the Early History of the Singular Value Decomposition." SIAM Review 35(4), 551–566, 1993 — Beltrami, Jordan, Sylvester, Schmidt and Weyl, and what each of them actually proved.
The 1965 algorithm that made it computable: G. Golub and W. Kahan, "Calculating the Singular Values and Pseudo-Inverse of a Matrix." Journal of the Society for Industrial and Applied Mathematics Series B: Numerical Analysis 2(2), 205–224, 1965.

42Math チーム · 更新 2026-07-23

公表された資料と照合しています。訂正のご指摘を歓迎します。編集方針 · 訂正

統計・ファイナンスのレッスン一覧 →

例題

ランク2の行列 - 小さな行列の分解により、主要な特異方向と特異値が示される。
混合3x3 - 混合型の3×3行列
対角3x3 - 対角型の3×3行列