SVD-Zerlegungs-Explorer

Zerlege eine Matrix in Richtungen, Streckungsstärken und eine Rang-k-Rekonstruktion.

Interaktive Simulation wird geladen...

Das Abschneiden der SVD ist beweisbar das Beste, was möglich ist 🖖

Behält man nur die k größten Singulärwerte und verwirft den Rest, hat man nicht bloß eine brauchbare Rang-k-Näherung gefunden, sondern die optimale. Der Satz von Eckart–Young–Mirsky besagt, dass keine andere Matrix vom Rang k dem Original näher kommt, weder in der Frobenius- noch in der Spektralnorm. Der Fehler ist exakt und nicht geschätzt: in der Spektralnorm entspricht er σk+1, dem ersten weggeworfenen Singulärwert, und in der Frobeniusnorm der Quadratwurzel aus der Summe der Quadrate aller verworfenen Werte. Dieser eine Satz ist der Grund, weshalb Bildkompression, Hauptkomponentenanalyse und latent-semantische Indizierung alle auf dieselbe Anweisung hinauslaufen: berechne die SVD und schneide sie dann ab.

Jede Matrix ist ein Stapel von Schichten 🖖

Die SVD schreibt jede Matrix als gewichtete Summe einfacher Rang-1-Schichten – jede aus einem linken und einem rechten Muster gebildet – geordnet vom wichtigsten zum unwichtigsten Singulärwert. Das Quadrat jedes Singulärwerts gibt an, wie viel der Gesamtenergie der Matrix diese Schicht trägt. Behält man nur die obersten wenigen, rekonstruiert man den Großteil der Daten aus einem winzigen Bruchteil der Zahlen – genau deshalb steigt der Balken für die erhaltene Energie am Anfang so steil an.

Fünfmal entdeckt, bevor sie nützlich war 🖖

Die SVD ist keine Erfindung des Computerzeitalters. Sie wurde unabhängig von Beltrami (1873), Jordan (1874), Sylvester (1889), Schmidt (1907) und Weyl (1912) hergeleitet – reine Matrizentheorie ohne absehbare Anwendung. Erst 1965 veröffentlichten Golub und Kahan ein numerisch stabiles Berechnungsverfahren, und das erschloss all das, was du hier siehst: Bildkompression, Rauschunterdrückung, Suchmaschinen und Empfehlungssysteme.

Aufgabe vollständig gelöst

  1. Drei Singulärwerte und ein Fehler von 34,5% durch Beibehalten von 88,1% der Energie 6 Schritte

    Bestimmen Sie die drei Singularwerte der Matrix auf dieser Seite von Hand — das charakteristische Polynom lässt sich faktorisieren — und erklären Sie dann, warum das Beibehalten von 88,1% der Energie immer noch einen Fehler von 34,5% hinterlässt.

    1. Singularwerte sind die Quadratwurzeln der Eigenwerte von AᵀA, bilden Sie also zuerst dieses Produkt. Es ist symmetrisch, was garantiert, dass die Eigenwerte reell und nichtnegativ sind.

    2. Die Determinante von AᵀA − λI lässt sich faktorisieren, was der glückliche Umstand ist: Die erste Spalte liefert einen Klammerausdruck, der sich sauber ausklammern lässt und eine quadratische Gleichung hinterlässt.

    3. Ein Eigenwert ist exakt 10; die anderen beiden sind die Wurzeln der quadratischen Gleichung. Ihre Wurzeldarstellung ist exakt, und die Dezimalzahlen folgen daraus.

    4. Ziehen Sie die Quadratwurzeln. Die Probe ist gratis — die drei quadrierten Werte müssen sich zur Spur von AᵀA aufsummieren, und 26 ist die Summe der Diagonalen.

    5. Behält man zwei Richtungen bei, behält man deren Anteil an diesen 26. Der Frobenius-Fehler ist die Quadratwurzel des verworfenen Anteils, und diese Quadratwurzel ist bereits die gesamte Antwort.

    6. Zwei weitere Identitäten ergeben sich gratis aus denselben drei Zahlen: Ihr Produkt ist der Betrag der Determinante, und ihr Verhältnis ist die Konditionszahl. Mit 2,04 ist diese Matrix äußerst gutartig — die 34,5% stellen keine Beinahe-Singularität dar, sondern eine echte dritte Richtung.

    Antwort

    Weil der Fehler eine Quadratwurzel ist: √0,119 = 0,345. Die Energie wird in quadrierten Singularwerten gemessen und der Fehler in unquadrierten, sodass das Verwerfen eines Achtels der Energie ein Drittel der Norm kostet, und die beiden Zahlen im Bedienfeld derselbe Sachverhalt sind, der auf zwei verschiedenen Skalen berichtet wird. Das ist die Falle bei jeder „wir haben 95% der Varianz behalten“-Behauptung: 95% der Energie entsprechen einem Rekonstruktionsfehler von 22%, und 99% bedeuten immer noch 10%. Eckart und Young haben 1936 bewiesen, dass keine Rang-2-Matrix hier besser abschneidet als 34,5%; dies ist also eine durch die Matrix vorgegebene Untergrenze und keine Schwäche der Trunkierung.

Lernpfad

Matrizen, die Dinge bewegen

Führt zu Hauptkomponenten

Quellen (2)

Beispielaufgaben

  • Rang-2-Matrix - Die Zerlegung einer kleinen Matrix zeigt die wichtigsten Singulärrichtungen und -werte.
  • gemischte 3x3 - Für Σ erhältst du 3,591515, 3,162278 und 1,760971. Diese drei Streckungsfaktoren liegen höchstens um den Faktor 2,04 auseinander. Es dominiert somit keine einzelne Richtung. Lass den kleinsten Wert weg und du hältst noch 88,1 % der Energie, während die Rekonstruktion um 34,5 % abweicht. Das Werkzeug zeigt dir außerdem, dass Rang 2 einer 3×3 nicht kleiner ist als A selbst. Abschneiden erklärt die Matrix an dieser Stelle, ohne sie zu komprimieren.
  • diagonale 3x3 - U und Vᵀ ergeben die Einheitsmatrix. Eine Diagonalmatrix hat keine verborgenen Richtungen, also wiederholt Σ schlicht die Diagonale: 5, 2, 0,5. Nur bei dieser Vorlage sparst du durch das Abschneiden überhaupt etwas ein. Bei Rang 1 speicherst du etwa 77,8 % so viele Zahlen wie in A selbst, während Rang 2 der gemischten Matrix bereits mehr Platz beansprucht. Behältst du diese einzige Richtung, bleiben 85,5 % der Energie erhalten. Der Wiederaufbau weicht dann um 38,1 % ab.