PCA 2D/3D visualiseerija

Tsentreeri andmed, arvuta peasuunad ja analüüsi, kui palju dispersiooni need hõlmavad.

Näidisarvutus — PCA 2D/3D visualiseerija

PC1	99.49%
PC2	0.51%
Kumulatiivne PC1	99.49%
-3.129852	0.031179
-1.727536	0.214237
-0.812923	-0.236855
0.589393	-0.053797
1.80882	-0.108545

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Muuda ühikuid ja PCA annab teise vastuse 🖖

PCA põhineb kovariatsioonimaatriksil ja kovariants sõltub mõõtühikutest. Kui mõõta inimese pikkust meetrites ja kaalu kilogrammides, saad ühe peakomponentide komplekti. Teisenda pikkus millimeetriteks: selle muutuja väärtused kasvavad tuhat korda, dispersioon miljon korda ning esimene peakomponent pöördub peaaegu täielikult pikkuse telje suunas. Andmed ise ei muutunud, muutus üksnes mõõdupuu. Seepärast standardiseeritakse tegelikes analüüsides esmalt kõik muutujad nullkeskmise ja ühikdispersiooniga. Sisuliselt tehakse siis PCA korrelatsioonimaatriksi, mitte kovariatsioonimaatriksi põhjal. Erinevalt regressioonist ei oska PCA eristada suurt arvu olulisest.

Suund, kuhu su andmed kalduvad 🖖

Peakomponentanalüüs otsib üht sirget, mille sihis punktipilv on kõige rohkem laiali, ja mõõdab iga punkti asukohta sellel. Seletatud dispersiooni protsent näitab, kui suure osa hajuvusest see üks sirge alles hoiab. Kui PC1 ületab siin umbes 85%, teatab tööriist, et lame 1D-kokkuvõte ei kaota peaaegu midagi. Vaheta näidiskomplekte ja jälgi, kuidas tugevalt korreleeruv pilv loovutab peaaegu kogu oma dispersiooni PC1-le.

Pole sama mis regressioonisirge 🖖

PC1 võib näida tavalise parima sobivuse sirgena, kuid need kaks optimeerivad eri suurusi. Lineaarne regressioon minimeerib punktide vertikaalsed kaugused sirgest y-telje sihis; PCA minimeerib nende ristkaugused sirgest. Samade punktide korral on saadud sirged tõepoolest erinevad. Karl Pearson avaldas just sellise ristkaugusi minimeeriva parima sobivuse sirge juba 1901. aastal, kolm aastakümmet enne termini „peakomponent” kasutuselevõttu.

Ülesanded täielikult lahendatud

Kuus punkti, millest 99,49% dispersioonist on PC1-l ja 0,51% PC2-l 8 sammu
Kuus punkti: (2, 1), (3, 2), (4, 2,2), (5, 3,2), (6, 3,9), (7, 5). Paneel näitab, et 99,49% dispersioonist langeb komponendile PC1 ja 0,51% komponendile PC2, mis jätab mulje pilvest, mis on sisuliselt sirge. Arvuta välja, kui kaugel sellest sirgest punktid tegelikult asuvad.
1. Kõigepealt keskmesta, sest kõik alljärgnev puudutab hajuvust, mitte asukohta. Väärtused x kulgevad ühikulise sammuga vahemikus 2 kuni 7, seega nende keskmine asub vahemiku keskel ja keskmestatud x-tulp on sümmeetriline: ±0,5, ±1,5, ±2,5. Vaid y vajab arvutamist.
  
  $μ = \frac{1}{6} \sum_{i} x_{i} = (\frac{27}{6}, \frac{17.3}{6}) = (4.5, 2.883333)$
2. Kovariatsiooni leidmiseks jagatakse korrutiste summa väärtusega n − 1 = 5, mitte 6-ga. Üks vabadusaste kulus juba äsja lahutatud keskmise hindamiseks, ja vaid kuue punkti korral annab see parandus koguni 20%.
  
  $C = \frac{1}{5} X_{c}^{T} X_{c} = \frac{1}{5} (17.5 13.35 13.35 10.408333) = (3.5 2.67 2.67 2.081667)$
3. Mõlema omaväärtuse saamiseks piisab kahest arvust ja kumbki neist ei vaja suunda. Jälg on kogudispersioon; determinant mõõdab, kui kaugel on maatriks singulaarsusest. Võrreldes jäljega 5,581667 on determinant 0,156933 maatriks, mille astak on väga lähedal 1-le.
  
  $tr C = 5.581667, det C = 3.5 \cdot 2.081667 - 2.6 7^{2} = 0.156933$
4. Lahenda karakteristlik ruutvõrrand. λ₁ osutub umbes 200 korda suuremaks kui λ₂ — selle pilve kuju surutuna ühte võrdlusesse.
  
  $λ = \frac{1}{2} (tr C \pm tr^{2} C - 4 det C) \Rightarrow λ_{1} = 5.553408, λ_{2} = 0.028259$
5. Seletatud dispersiooni read kujutavad endast vaid seda suhet ega midagi muud. Seega on 99,49% väide λ₁ ja λ₂ kohta ning pärib selle, mis need on: dispersioonid, mille ühikuteks on andmete ühikud ruudus. Jäta see mõte meelde.
  
  $\frac{λ _{1}}{λ _{1} + λ _{2}} = \frac{5.553408}{5.581667} = 99.49%, \frac{λ _{2}}{λ _{1} + λ _{2}} = 0.51%$
6. Suund on omavektor ning nullist erineva diagonaalivälise elemendiga 2×2 kovariatsioonimaatriksi puhul saab selle kirja panna ilma midagi lahendamata: (λ₁ − S_yy, S_xy) osutab juba piki komponenti PC1. Skaleeri see ühikuliseks pikkuseks ja saad näidatud vektori.
  
  $v_{1} \propto (λ_{1} - S_{y y}, S_{x y}) = (3.471741, 2.67) \Rightarrow v_{1} = (0.792687, 0.609629)$
7. Pööra seda veerand pööret, et saada v₂, ning projekteeri esimene keskmestatud punkt sellele. Tulemus 0,031179 on skooritabeli teine arv. Seega see terve tulp — mille paneel kuvab ilma kunagi ütlemata, mis see on — kujutab iga punkti märgiga kaugust PC1 sirgest, ning kuuest punktist halvim on −0,236855.
  
  $v_{2} = (- 0.609629, 0.792687) : (x_{1} - μ) \cdot v_{2} = (- 2.5) (- 0.609629) + (- 1.883333) (0.792687) = 0.031179$
8. Nüüd küsimus, mida protsendid varjasid. λ₂ on dispersioon, seega on see ruutkaugus ning tüüpiline kõrvalekalle on selle ruutjuur. Võrdle seda λ₁ ruutjuurega, mis kujutab hajuvust piki sirget.
  
  $\frac{σ _{2}}{σ _{1}} = \frac{λ _{2}}{λ _{1}} = \frac{0.028259}{5.553408} = 0.0713$
Vastus

Punktid asuvad PC1 sirgest umbes 7,13% pilve pikkusest eemal, mitte 0,51%. Mõlemad arvud kirjeldavad samu kuut punkti; üks on ruutude suhe ja teine pikkuste suhe ning nende vaheline ruutjuur annab siin teguriks 14. See erinevus on lõks igas reeglis kujul „säilita 99% dispersioonist“: selleks et hoida ristsuunalist kõrvalekallet alla 1% hajuvusest, peab PC2 jääma alla 0,01% dispersioonist, mis on sada korda rangem, kui reegel kõlab. Andmeühikutes on kõrvalekalle √λ₂ = 0,168104 ega ole peidus — see on joonisele kantud halli lõiguna iga rohelise punkti ja selle sinise projektsiooni vahel ning need lõigud ei ole ilmselgelt nullpikkusega.

$λ_{2} = 0.168104, λ_{1} = 2.356567, \frac{λ _{2}}{λ _{1}} = 7.13%$
PC1 tõusuga 0,769 ja vähimruutude sobitus 0,763 6 sammu
PC1 on kuvatud kujul (0,792687, 0,609629), mis on tõusuga 0,769 suund. Sobitades y x-le vähimruutude meetodil täpselt samadest kovariatsiooniliikmetest, saame 2,67/3,5 = 0,763. Kaks sirget läbi ühe kuuepunktilise pilve. Näita, kumb neist on järsum — ja et see on alati see sama sirge.
1. Vähimruutude meetod y suhtes minimeerib vertikaalsed vahed ning minimeerijaks on S_xy/S_xx. Pane tähele, mis on nimetajas: vaid x-i hajuvus. Sobitus võtab x-i antuna ja küsib vaid, mida y selle vastuseks teeb.
  
  $b_{y ∣ x} = \frac{S _{x y}}{S _{xx}} = \frac{2.67}{3.5} = 0.762857$
2. Komponendi PC1 tõus loetakse otse välja kuvatud ühikvektorist, kuna suuna (a, b) tõus on b/a. See asub umbes 6 tuhandikku regressioonisirge tõusust kõrgemal — vähe, kuid mitte null.
  
  $m_{PC1} = \frac{0.609629}{0.792687} = 0.769067$
3. Nende kahe korralikuks võrdlemiseks kirjuta PC1 tõus nii, nagu omavektor seda määratleb, mitte kümnendmurdude suhtena. Lugejas on mõlemal sama S_xy, seega kogu erinevus peitub nimetajas: S_xx regressiooni puhul ja λ₁ − S_yy komponendi PC1 puhul.
  
  $v_{1} \propto (λ_{1} - S_{y y}, S_{x y}) ⟹ m_{PC1} = \frac{S _{x y}}{λ _{1} - S _{y y}} = \frac{2.67}{3.471741}$
4. Arenda λ₁ lahti. Küsimusest, kas PCA nimetaja on väiksem, on nüüd saanud küsimus üheainsa ruutjuure kohta.
  
  $λ_{1} - S_{y y} = \frac{1}{2} (S_{xx} - S_{y y} + tr^{2} C - 4 det C)$
5. Ja see ruutjuur on jäljest väiksem täpselt siis, kui determinant on positiivne, mis kehtib iga pilve korral, mis ei ole täiuslik sirgjoon. Seetõttu on PC1 nimetaja alati väiksem, nii et PC1 on neist kahest alati järsum. Nende kuue punkti kohta ei kasutatud midagi.
  
  $det C > 0 ⟺ tr^{2} C - 4 det C < tr C ⟺ λ_{1} - S_{y y} < S_{xx}$
6. Vaheta rollid ja teosta selle asemel x-i regressioon y suhtes. See on kolmas sirge ning selle tõusu ümberkirjutamine sama y-st sõltuva x-i pildi jaoks annab väärtuseks 0,779650. PC1 ei muutu rollide vahetamisel — kovariatsioonimaatriks on sümmeetriline x-i ja y-i suhtes —, seega eelmise sammu arutlus toimib nüüd vastupidi ning PC1 on sellest paarist vähem järsk.
  
  $b_{x ∣ y} = \frac{S _{x y}}{S _{y y}} = \frac{2.67}{2.081667} = 1.282626 ⟹ \frac{1}{b _{x ∣ y}} = \frac{S _{y y}}{S _{x y}} = 0.779650$
Vastus

Kolm sirget läbi ühe pilve: 0,762857 < 0,769067 < 0,779650, kusjuures PC1 asub rangelt keskel. Kaks regressiooni erinevad 2,2% võrra pilvel, mida paneel nimetab 99,49% ühemõõtmeliseks, ning need erinevad seetõttu, et vastavad erinevatele küsimustele — kas prognoosida y-id x-i järgi või x-i y-i järgi. PC1 ei vasta kummalegi. See minimeerib ristsuunalist kaugust, mistõttu telgede ümbernimetamine pööramisel jätab sirge täpselt sinna, kus see oli, ja selle jäägid on teine skooritulp, mitte vertikaalne vahe. Kolm sirget langevad üheks kokku vaid siis, kui det C = 0, ehk teisisõnu siis, kui punktid on tõesti kollineaarsed ja eriarvamusteks pole enam põhjust. Nende äärmuste vahel on PCA sirge, mida kasutada siis, kui mõlemad koordinaadid sisaldavad mõõtmisviga, ning vale sirge siis, kui soovid tõepoolest prognoosi: regressioonisirge tõus on tahtlikult vähem järsk, sest lameoleku poole tõmbamine teeb prognoosi ruutvea võimalikult väikeseks.

$0.762857 < 0.769067 < 0.779650$

Õpitee

Ruumi teisendavad maatriksid

Allikad (2)

Insight block 3 — the perpendicular line of closest fit, thirty years before the name: K. Pearson, "On lines and planes of closest fit to systems of points in space." Philosophical Magazine 2(11), 559–572, 1901.
Where "principal component" was coined: H. Hotelling, "Analysis of a complex of statistical variables into principal components." Journal of Educational Psychology 24(6), 417–441, 1933.

42Mathi meeskond · Uuendatud 2026-07-23

Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud. Toimetamispõhimõtted · Parandused

Kõik Matemaatika õppetunnid →

Näiteülesanded

korreleeritud 2D-pilv - Tihe positiivse seosega punktipilv, r = 0,989. PC1 säilitab dispersioonist 99,49%. Ühemõõtmeline kokkuvõte kaotab pool protsenti.
klasterdatud 2D-andmed - Sirge asemel on kaks tihedat klastrit, kuid PC1 annab ikkagi 99,51%, sama palju kui korreleerunud punktipilve puhul. Suur seletatud dispersioon ei tähenda, et andmed oleksid lineaarsed.
tasakaalustatud hajuvus - Ainus eelseadistus, mis jääb alla 85% piiri: 62,83%. Samuti on see ainus, kus PC1 ja regressioonisirge erinevad silmanähtavalt: tõus -1,00 võrreldes väärtusega -0,26.
erindi mõju - Neli punkti paiknevad kobaras, üks aga punktis (5,2, 4,8). See üksik punkt annab tööriista suurima PC1 tulemuse, 99,67%; kogu struktuuri määrab erind.
negatiivne kalle - Peaaegu täiuslik negatiivse tõusuga sirge: r = -0,9986 ja PC1 99,93%, siinsetest kõige tihedam. PCA tuvastab suuna ning tõusu märk ei mõjuta tulemust.