Visualiseur ACP 2D/3D

Centre les données, calcule les directions principales et analyse la part de variance captée.

Chargement de la simulation interactive...

Changez les unités et l’ACP donne une autre réponse 🖖

L’ACP repose sur la matrice de covariance, or la covariance dépend des unités. Relevez la taille d’une personne en mètres et son poids en kilogrammes : vous obtenez un certain ensemble de composantes. Passez des mètres aux millimètres, et les valeurs de la taille sont multipliées par mille, sa variance par un million ; la première composante principale pivote alors jusqu’à s’aligner presque entièrement sur cette variable. Les données n’ont pas changé, seule l’unité de mesure a changé. Voilà pourquoi, dans une analyse réelle, on commence par centrer et réduire chaque variable, afin qu’elle ait une moyenne nulle et une variance égale à l’unité. Cela revient à effectuer l’ACP sur la matrice de corrélation plutôt que sur la matrice de covariance. Contrairement à la régression, l’ACP ne sait pas distinguer une grande valeur d’une variable importante.

La direction vers laquelle penchent vos données 🖖

L'analyse en composantes principales cherche l'unique droite le long de laquelle votre nuage de points s'étire le plus, puis mesure la position de chaque point sur elle. Le pourcentage de variance expliquée indique quelle part de la dispersion cette seule droite conserve. Ici, quand PC1 dépasse environ 85 %, l'outil signale qu'un résumé plat en 1D ne perd presque rien. Changez de jeu d'exemple et observez un nuage fortement corrélé céder presque toute sa variance à PC1.

Ce n'est pas une droite de régression 🖖

On pourrait prendre la CP1 pour la droite de régression habituelle, mais leurs critères d’optimisation diffèrent. La régression linéaire minimise les distances verticales à la droite, mesurées parallèlement à l’axe des ordonnées ; l’ACP minimise les distances perpendiculaires. Pour un même nuage de points, les deux droites peuvent donc être réellement distinctes. Dès 1901, Karl Pearson publiait précisément cette droite de meilleur ajustement définie par les distances perpendiculaires, trois décennies avant l’apparition du terme « composante principale ».

Problèmes entièrement résolus

  1. Six points avec 99,49 % de la variance sur PC1 et 0,51 % sur PC2 8 étapes

    Six points : (2, 1), (3, 2), (4, 2,2), (5, 3,2), (6, 3,9), (7, 5). Le panneau affiche 99,49 % de la variance sur PC1 et 0,51 % sur PC2, ce qui évoque un nuage s'apparentant essentiellement à une droite. Calculez à quelle distance de cette droite les points se situent réellement.

    1. Centrez d'abord, car tout ce qui suit concerne la dispersion et non la position. Les valeurs de x vont de 2 à 7 par pas de 1, de sorte que leur moyenne se situe au milieu de l'intervalle et la colonne des x centrés est symétrique : ±0,5, ±1,5, ±2,5. Seul y nécessite du calcul.

    2. La covariance divise la somme des produits par n − 1 = 5, et non par 6. Un degré de liberté a déjà été utilisé pour estimer la moyenne qui vient d'être soustraite, et avec seulement six points, cette correction représente 20 %.

    3. Deux nombres suffisent pour obtenir les deux valeurs propres, et aucun des deux ne nécessite de direction. La trace est la variance totale ; le déterminant mesure à quel point la matrice est proche d'être singulière. Face à une trace de 5,581667, un déterminant de 0,156933 correspond à une matrice qui est très près d'être de rang 1.

    4. Résolvez l'équation caractéristique du second degré. λ1 ressort environ 200 fois plus grande que λ2 — la forme de ce nuage condensée en une seule comparaison.

    5. Les lignes de variance expliquée représentent ce rapport et rien d'autre. Ainsi, 99,49 % est une affirmation concernant λ1 et λ2, et hérite de leur nature : des variances, qui portent le carré des unités des données. Gardons cela en mémoire.

    6. La direction est le vecteur propre, et pour une matrice de covariance 2×2 avec un terme hors diagonale non nul, on peut l'écrire sans rien résoudre : (λ1 − Syy, Sxy) pointe déjà le long de PC1. Normalisez-le à une longueur unitaire et vous obtenez le vecteur affiché.

    7. Faites pivoter cela d'un quart de tour pour obtenir v2, puis projetez le premier point centré dessus. Le résultat, 0,031179, est le deuxième nombre du tableau des scores. Ainsi, cette colonne entière — que le panneau affiche sans jamais préciser ce qu'elle représente — est la distance signée de chaque point à la droite PC1, et le pire des six est −0,236855.

    8. Venons-en maintenant à la question que les pourcentages masquaient. λ2 est une variance, c'est donc une distance au carré, et l'écart typique en est la racine carrée. Comparez cela à la racine carrée de λ1, qui est la dispersion le long de la droite.

    Réponse

    Les points se situent à environ 7,13 % de la longueur du nuage par rapport à la droite PC1, et non à 0,51 %. Les deux chiffres décrivent les mêmes six points ; l'un est un rapport de carrés et l'autre un rapport de longueurs, et la racine carrée entre eux représente ici un facteur de 14. Ce décalage est le piège de toute règle du type « conserver 99 % de la variance » : pour maintenir l'écart perpendiculaire sous 1 % de la dispersion, il faut que PC2 soit inférieure à 0,01 % de la variance, ce qui est cent fois plus strict que ce que laisse entendre la règle. Dans les unités des données, l'écart est √λ2 = 0,168104, et il n'est pas caché — il est tracé sur le graphique sous la forme du segment gris reliant chaque point vert à sa projection bleue, et ces segments n'ont manifestement pas une longueur nulle.

  2. PC1 de pente 0,769 et un ajustement aux moindres carrés de 0,763 6 étapes

    PC1 est affiché sous la forme (0,792687, 0,609629), une direction de pente 0,769. L'ajustement de y par rapport à x par les moindres carrés, à partir des mêmes entrées de covariance, donne 2,67/3,5 = 0,763. Deux droites à travers un même nuage de six points. Montrez laquelle est la plus raide — et qu'il s'agit toujours de celle-là.

    1. Les moindres carrés sur y minimisent les écarts verticaux, et la valeur qui minimise est Sxy/Sxx. Notez ce qui se trouve au dénominateur : la dispersion de x seule. L'ajustement prend x comme une donnée et cherche seulement comment y réagit.

    2. La pente de PC1 se lit directement sur le vecteur unitaire affiché, puisqu'une direction (a, b) a pour pente b/a. Elle se situe environ 6 millièmes au-dessus de la pente de régression — un écart faible, mais non nul.

    3. Pour bien comparer les deux, écrivons la pente de PC1 de la façon dont le vecteur propre la définit plutôt que sous forme de rapport de décimaux. Le numérateur est le même Sxy dans les deux cas, toute la différence réside donc dans le dénominateur : Sxx pour la régression, λ1 − Syy pour PC1.

    4. Développez λ1. Savoir si l'ACP a le dénominateur le plus petit devient désormais une question portant sur une unique racine carrée.

    5. Et cette racine carrée est inférieure à la trace exactement lorsque le déterminant est positif, ce qui est vrai pour tout nuage qui n'est pas une droite parfaite. Le dénominateur de PC1 est donc toujours le plus petit, de sorte que PC1 est toujours la plus raide des deux. Rien de spécifique à ces six points n'a été utilisé.

    6. Inversez les rôles et effectuez la régression de x sur y à la place. C'est une troisième droite, et réécrire sa pente pour la même représentation de y en fonction de x la situe à 0,779650. PC1 ne varie pas lors de cet échange — la matrice de covariance est symétrique en x et y — de sorte que l'argument de l'étape précédente s'applique maintenant en sens inverse, et PC1 est la moins raide de cette paire.

    Réponse

    Trois droites à travers un nuage : 0,762857 < 0,769067 < 0,779650, avec PC1 strictly au milieu. Les deux régressions diffèrent de 2,2 % sur un nuage que le panneau qualifie de monodimensionnel à 99,49 %, et elles diffèrent parce qu'elles répondent à des questions différentes — prédire y à partir de x, ou prédire x à partir de y. PC1 ne répond à aucune des deux. Elle minimise la distance perpendiculaire, de sorte que changer l'étiquetage des axes fait pivoter la figure et laisse la droite exactement là où elle était, et ses résidus constituent la deuxième colonne de scores plutôt qu'un écart vertical. Les trois se confondent en une seule uniquement lorsque det C = 0, c'est-à-dire quand les points sont réellement alignés et qu'il n'y a plus lieu de différer. Entre ces extrêmes, l'ACP est la droite à utiliser lorsque les deux coordonnées comportent des erreurs de mesure, et la mauvaise droite si l'on cherche véritablement une prédiction : la pente de régression est sciemment plus faible, car se rapprocher de l'horizontale est ce qui rend l'erreur quadratique de prédiction la plus petite.

Parcours

Des matrices qui transforment l'espace

Références (2)

Exemples de problèmes

  • nuage 2D corrélé - Un nuage positif très resserré, avec r = 0,989 : la CP1 conserve 99,49 % de la variance. En résumant les données sur une seule dimension, vous perdez un demi-pour-cent.
  • données 2D regroupées - Deux groupes compacts plutôt qu’une droite, et pourtant la CP1 indique encore 99,51 %, comme pour le nuage corrélé. Une forte proportion de variance expliquée ne signifie pas que les données suivent une relation linéaire.
  • dispersion équilibrée - Seul préréglage sous le seuil de 85 %, avec 62,83 %, c’est aussi le seul où la CP1 et la droite de régression diffèrent nettement : leurs pentes valent respectivement −1,00 et −0,26.
  • effet de levier d'une valeur aberrante - Quatre points forment un groupe, tandis qu’un autre se trouve en (5,2 ; 4,8). Ce point isolé donne à la CP1 sa valeur la plus élevée dans l’outil, soit 99,67 % : la structure observée vient de la valeur aberrante.
  • pente négative - Une droite négative presque parfaite : r = −0,9986 et une CP1 à 99,93 %, la configuration la plus resserrée ici. L’ACP repère une direction, sans tenir compte du signe de la pente.