PCA-2D/3D-Visualizer

Zentriere die Daten, berechne die Hauptrichtungen und analysiere, wie viel Varianz erfasst wird.

Rechenbeispiel — PCA-2D/3D-Visualizer

PC1	99.49%
PC2	0.51%
Kumuliert PC1	99.49%
-3.129852	0.031179
-1.727536	0.214237
-0.812923	-0.236855
0.589393	-0.053797
1.80882	-0.108545

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Ändert man die Einheiten, liefert die PCA ein anderes Ergebnis 🖖

Die PCA beruht auf der Kovarianzmatrix, und Kovarianzen hängen von den Maßeinheiten ab. Erfasst du die Körpergröße einer Person in Metern und ihr Gewicht in Kilogramm, erhältst du bestimmte Hauptkomponenten. Wechselst du bei der Körpergröße zu Millimetern, werden die Werte dieser Variablen tausendmal so groß und ihre Varianz eine Million Mal so groß. Die erste Hauptkomponente dreht sich dadurch fast vollständig in ihre Richtung. An den Daten selbst hat sich nichts geändert, nur am Maßstab. Deshalb standardisiert man in echten Analysen zunächst jede Variable auf den Mittelwert null und Einheitsvarianz. Das entspricht einer PCA auf Grundlage der Korrelationsmatrix statt der Kovarianzmatrix. Anders als eine Regression kann die PCA nicht erkennen, ob eine Zahl groß oder eine Variable wichtig ist.

Die Richtung, in die deine Daten neigen 🖖

Die Hauptkomponentenanalyse sucht die eine Gerade, entlang der sich deine Punktwolke am stärksten erstreckt, und misst die Lage jedes Punktes auf ihr. Der Anteil der erklärten Varianz sagt, wie viel der Streuung diese eine Gerade bewahrt. Steigt PC1 hier über etwa 85 %, meldet das Werkzeug, dass eine flache 1D-Zusammenfassung fast nichts verliert. Wechsle die Beispielsätze und beobachte, wie eine eng korrelierte Wolke fast ihre gesamte Varianz an PC1 abgibt.

Nicht dasselbe wie eine Regressionsgerade 🖖

PC1 lässt sich leicht für die gewöhnliche Regressionsgerade halten, doch beide optimieren unterschiedliche Größen. Die lineare Regression minimiert die vertikalen Abstände zur Geraden, also die Abstände entlang der y-Achse. Die PCA minimiert dagegen die senkrechten Abstände. Bei denselben Punkten können die beiden Geraden deutlich auseinanderliegen. Karl Pearson veröffentlichte genau diese senkrechte Gerade der besten Anpassung bereits 1901, drei Jahrzehnte bevor der Begriff Hauptkomponente geprägt wurde.

Aufgaben vollständig gelöst

Sechs Punkte mit 99,49% der Varianz auf PC1 und 0,51% auf PC2 8 Schritte
Sechs Punkte: (2, 1), (3, 2), (4, 2,2), (5, 3,2), (6, 3,9), (7, 5). Das Bedienfeld weist 99,49% der Varianz auf PC1 und 0,51% auf PC2 aus, was wie eine Punktwolke erscheint, die im Wesentlichen eine Gerade ist. Berechnen Sie, wie weit die Punkte tatsächlich von dieser Geraden entfernt liegen.
1. Zuerst zentrieren, da es im Folgenden nur um die Streuung und nicht um die Position geht. Die x-Werte verlaufen von 2 bis 7 in Einzelschritten, sodass ihr Mittelwert genau in der Mitte des Bereichs liegt und die zentrierte x-Spalte symmetrisch ist: ±0,5, ±1,5, ±2,5. Nur für y ist Rechenaufwand erforderlich.
  
  $μ = \frac{1}{6} \sum_{i} x_{i} = (\frac{27}{6}, \frac{17.3}{6}) = (4.5, 2.883333)$
2. Bei der Kovarianz werden die summierten Produkte durch n − 1 = 5 dividiert, nicht durch 6. Ein Freiheitsgrad wurde bereits für die Schätzung des gerade subtrahierten Mittelwerts verbraucht, und bei nur sechs Punkten macht diese Korrektur 20% aus.
  
  $C = \frac{1}{5} X_{c}^{T} X_{c} = \frac{1}{5} (17.5 13.35 13.35 10.408333) = (3.5 2.67 2.67 2.081667)$
3. Zwei Zahlen genügen, um beide Eigenwerte zu erhalten, und keine von beiden erfordert eine Richtung. Die Spur ist die Gesamtvarianz; die Determinante misst, wie weit die Matrix von der Singularität entfernt ist. Gegenüber einer Spur von 5,581667 entspricht eine Determinante von 0,156933 einer Matrix, die sehr nahe an Rang 1 liegt.
  
  $tr C = 5.581667, det C = 3.5 \cdot 2.081667 - 2.6 7^{2} = 0.156933$
4. Lösen Sie die charakteristische quadratische Gleichung. λ₁ ergibt sich als etwa das 200-Fache von λ₂ — die Form dieser Punktwolke verdichtet in einem einzigen Vergleich.
  
  $λ = \frac{1}{2} (tr C \pm tr^{2} C - 4 det C) \Rightarrow λ_{1} = 5.553408, λ_{2} = 0.028259$
5. Die Zeilen für die erklärte Varianz stellen genau dieses Verhältnis dar und nichts anderes. 99,49% ist somit eine Aussage über λ₁ und λ₂ und erbt deren Natur: Varianzen, die die Einheiten der Daten im Quadrat tragen. Behalten Sie diesen Gedanken im Hinterkopf.
  
  $\frac{λ _{1}}{λ _{1} + λ _{2}} = \frac{5.553408}{5.581667} = 99.49%, \frac{λ _{2}}{λ _{1} + λ _{2}} = 0.51%$
6. Die Richtung ist der Eigenvektor, und für eine 2×2-Kovarianzmatrix mit einer Nebendiagonale ungleich null kann man ihn ohne weiteres Lösen direkt hinschreiben: (λ₁ − S_yy, S_xy) zeigt bereits entlang von PC1. Skaliert auf Einheitslänge ergibt sich der ausgegebene Vektor.
  
  $v_{1} \propto (λ_{1} - S_{y y}, S_{x y}) = (3.471741, 2.67) \Rightarrow v_{1} = (0.792687, 0.609629)$
7. Drehen Sie diesen Vektor um eine Vierteldrehung, um v₂ zu erhalten, und projizieren Sie den ersten zentrierten Punkt darauf. Das Ergebnis, 0,031179, ist die zweite Zahl in der Score-Tabelle. Diese gesamte Spalte — die das Bedienfeld ausgibt, ohne je zu erklären, was sie bedeutet — ist also der vorzeichenbehaftete Abstand jedes Punkts von der PC1-Geraden, und der schlechteste der sechs Werte beträgt −0,236855.
  
  $v_{2} = (- 0.609629, 0.792687) : (x_{1} - μ) \cdot v_{2} = (- 2.5) (- 0.609629) + (- 1.883333) (0.792687) = 0.031179$
8. Nun zur Frage, die von den Prozentangaben verborgen wurde. λ₂ ist eine Varianz, also ein quadratischer Abstand, und die typische Abweichung ist ihre Quadratwurzel. Vergleichen Sie das mit der Quadratwurzel aus λ₁, welche die Streuung entlang der Geraden darstellt.
  
  $\frac{σ _{2}}{σ _{1}} = \frac{λ _{2}}{λ _{1}} = \frac{0.028259}{5.553408} = 0.0713$
Antwort

Die Punkte liegen etwa 7,13% der Länge der Wolke von der PC1-Geraden entfernt, nicht 0,51%. Beide Zahlen beschreiben dieselben sechs Punkte; die eine ist ein Verhältnis von Quadraten, die andere ein Verhältnis von Längen, und die Quadratwurzel dazwischen macht hier einen Faktor von 14 aus. Diese Lücke ist die Falle in jeder Regel der Form „behalte 99% der Varianz“: Um die rechtwinklige Abweichung unter 1% der Streuung zu halten, muss PC2 unter 0,01% der Varianz liegen — einhundertmal strenger, als die Regel klingt. In Dateneinheiten beträgt die Abweichung √λ₂ = 0,168104, und sie ist nicht verborgen — sie ist im Diagramm als graues Segment von jedem grünen Punkt zu seiner blauen Projektion eingezeichnet, und diese Segmente haben offensichtlich keine Länge von null.

$λ_{2} = 0.168104, λ_{1} = 2.356567, \frac{λ _{2}}{λ _{1}} = 7.13%$
PC1 mit Steigung 0,769 und eine Anpassung der kleinsten Quadrate von 0,763 6 Schritte
PC1 wird als (0,792687, 0,609629) ausgegeben, eine Richtung mit der Steigung 0,769. Die Anpassung von y an x nach der Methode der kleinsten Quadrate aus genau denselben Kovarianzeinträgen ergibt 2,67/3,5 = 0,763. Zwei Geraden durch eine Wolke aus sechs Punkten. Zeigen Sie, welche davon die steilere ist — und dass es immer diese eine ist.
1. Die Methode der kleinsten Quadrate bezüglich y minimiert die vertikalen Abstände, und der Minimierer ist S_xy/S_xx. Beachten Sie, was im Nenner steht: die Streuung von x allein. Die Anpassung nimmt x als gegeben an und fragt nur, was y als Reaktion darauf tut.
  
  $b_{y ∣ x} = \frac{S _{x y}}{S _{xx}} = \frac{2.67}{3.5} = 0.762857$
2. Die Steigung von PC1 wird direkt aus dem ausgegebenen Einheitsvektor abgelesen, da eine Richtung (a, b) die Steigung b/a hat. Sie liegt etwa 6 Tausendstel über der Regressionssteigung — klein, aber nicht null.
  
  $m_{PC1} = \frac{0.609629}{0.792687} = 0.769067$
3. Um die beiden richtig zu vergleichen, schreiben Sie die Steigung von PC1 so auf, wie sie durch den Eigenvektor definiert ist, statt als Verhältnis von Dezimalzahlen. Der Zähler ist bei beiden dasselbe S_xy, sodass der gesamte Unterschied im Nenner liegt: S_xx für die Regression, λ₁ − S_yy für PC1.
  
  $v_{1} \propto (λ_{1} - S_{y y}, S_{x y}) ⟹ m_{PC1} = \frac{S _{x y}}{λ _{1} - S _{y y}} = \frac{2.67}{3.471741}$
4. Drücken Sie λ₁ aus. Ob PCA den kleineren Nenner hat, ist nun zu einer Frage nach einer einzelnen Quadratwurzel geworden.
  
  $λ_{1} - S_{y y} = \frac{1}{2} (S_{xx} - S_{y y} + tr^{2} C - 4 det C)$
5. Und diese Quadratwurzel ist genau dann kleiner als die Spur, wenn die Determinante positiv ist, was für jede Punktwolke gilt, die keine perfekte Gerade ist. Der Nenner von PC1 ist daher immer der kleinere, sodass PC1 immer die steilere der beiden ist. Nichts an diesen sechs Punkten wurde hierfür verwendet.
  
  $det C > 0 ⟺ tr^{2} C - 4 det C < tr C ⟺ λ_{1} - S_{y y} < S_{xx}$
6. Tauschen Sie die Rollen und führen Sie stattdessen eine Regression von x auf y durch. Das ist eine dritte Gerade, und wenn man ihre Steigung für dasselbe y-gegen-x-Bild umschreibt, liegt sie bei 0,779650. PC1 verändert sich bei diesem Tausch nicht — die Kovarianzmatrix ist symmetrisch in x und y —, sodass das Argument des vorherigen Schritts nun in die andere Richtung verläuft und PC1 die flachere dieses Paares ist.
  
  $b_{x ∣ y} = \frac{S _{x y}}{S _{y y}} = \frac{2.67}{2.081667} = 1.282626 ⟹ \frac{1}{b _{x ∣ y}} = \frac{S _{y y}}{S _{x y}} = 0.779650$
Antwort

Drei Geraden durch eine Wolke: 0,762857 < 0,769067 < 0,779650, wobei PC1 strikt in der Mitte liegt. Die beiden Regressionen weichen um 2,2% bei einer Wolke voneinander ab, die das Bedienfeld als zu 99,49% eindimensional bezeichnet, und sie weichen voneinander ab, weil sie unterschiedliche Fragen beantworten — sage y aus x voraus oder sage x aus y voraus. PC1 beantwortet keine von beiden. Sie minimiert den rechtwinkligen Abstand, sodass eine Umbenennung der Achsen das Bild dreht und die Gerade genau dort belässt, wo sie war, und ihre Residuen sind die zweite Score-Spalte statt eines vertikalen Abstands. Die drei fallen nur dann zu einer einzigen zusammen, wenn det C = 0 ist, das heißt, wenn die Punkte wirklich kollinear sind und es nichts mehr gibt, worüber man uneinig sein könnte. Zwischen diesen Extremen ist PCA die geeignete Gerade, wenn beide Koordinaten einen Messfehler tragen, und die falsche Gerade, wenn Sie tatsächlich eine Vorhersage wünschen: Die Regressionssteigung ist absichtlich flacher, weil das Hinziehen zur Waagerechten den quadratischen Vorhersagefehler am kleinsten macht.

$0.762857 < 0.769067 < 0.779650$

Lernpfad

Matrizen, die Dinge bewegen

Quellen (2)

Insight block 3 — the perpendicular line of closest fit, thirty years before the name: K. Pearson, "On lines and planes of closest fit to systems of points in space." Philosophical Magazine 2(11), 559–572, 1901.
Where "principal component" was coined: H. Hotelling, "Analysis of a complex of statistical variables into principal components." Journal of Educational Psychology 24(6), 417–441, 1933.

Vom 42Math-Team · Aktualisiert 2026-07-23

Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen. Redaktionsrichtlinie · Korrekturen

Alle Lektionen: Mathematik →

Beispielaufgaben

korrelierte 2D-Punktwolke - Eine schmale, positiv korrelierte Punktwolke mit r = 0,989. PC1 erhält 99,49 % der Varianz; bei einer eindimensionalen Zusammenfassung geht ein halbes Prozent verloren.
geclusterte 2D-Daten - Zwei kompakte Punktgruppen statt einer Geraden: Dennoch weist PC1 99,51 % aus, genau wie bei der korrelierten Punktwolke. Ein hoher Anteil erklärter Varianz bedeutet nicht, dass die Daten linear sind.
ausgewogene Streuung - Als einzige Voreinstellung liegt diese mit 62,83 % unter der Marke von 85 %. Nur hier weichen PC1 und die Regressionsgerade sichtbar voneinander ab: Steigung -1,00 gegenüber -0,26.
Ausreißer-Hebelwirkung - Vier Punkte liegen dicht beieinander, einer bei (5,2; 4,8). Dieser einzelne Punkt erzeugt mit 99,67 % den höchsten PC1-Wert im Werkzeug. Der Ausreißer bestimmt die Struktur.
negative Steigung - Eine nahezu perfekte fallende Gerade: r = -0,9986 und PC1 bei 99,93 %, der höchste Anteil hier. Die PCA erfasst die Richtung; das Vorzeichen der Steigung spielt dabei keine Rolle.