Explorateur de décomposition SVD

Décomposez une matrice en directions, en intensités d'étirement et en une reconstruction de rang faible.

Chargement de la simulation interactive...

Tronquer la SVD est démontrablement le mieux que l’on puisse faire 🖖

Ne gardez que les k plus grandes valeurs singulières et jetez le reste : vous n’avez pas simplement trouvé une approximation de rang k convenable, vous avez trouvé l’optimale. Le théorème d’Eckart–Young–Mirsky affirme qu’aucune autre matrice de rang k ne s’approche davantage de l’originale, ni en norme de Frobenius ni en norme spectrale. L’erreur est exacte et non estimée : en norme spectrale elle vaut σk+1, la première valeur singulière écartée, et en norme de Frobenius la racine carrée de la somme des carrés de toutes les valeurs écartées. Ce seul théorème explique pourquoi compression d’images, analyse en composantes principales et indexation sémantique latente se réduisent toutes à la même consigne : calculer la SVD, puis la couper.

Toute matrice est une pile de couches 🖖

La SVD réécrit n'importe quelle matrice comme une somme pondérée de couches simples de rang 1 — chacune formée d'un motif gauche et d'un motif droit — classées de la plus à la moins importante selon leur valeur singulière. Le carré de chaque valeur singulière indique quelle part de l'énergie totale de la matrice cette couche porte. En ne gardant que les premières, on reconstruit l'essentiel des données à partir d'une infime fraction des nombres — d'où la montée si abrupte de la barre d'énergie conservée au départ.

Découverte cinq fois avant d'être utile 🖖

La SVD n'est pas une invention de l'ère informatique. Elle a été établie indépendamment par Beltrami (1873), Jordan (1874), Sylvester (1889), Schmidt (1907) et Weyl (1912) — théorie des matrices pure, sans application en vue. Ce n'est qu'en 1965 que Golub et Kahan ont publié une méthode de calcul numériquement stable, ce qui a débloqué tout ce que vous voyez ici : compression d'images, débruitage, moteurs de recherche et systèmes de recommandation.

Problème entièrement résolu

  1. Trois valeurs singulières et une erreur de 34,5 % en conservant 88,1 % de l'énergie 6 étapes

    Trouvez à la main les trois valeurs singulières de la matrice de cette page — le polynôme caractéristique se factorise — puis expliquez pourquoi conserver 88,1 % de l'énergie laisse toujours une erreur de 34,5 %.

    1. Les valeurs singulières sont les racines carrées des valeurs propres de AᵀA, commencez donc par former ce produit. Il est symétrique, ce qui garantit que les valeurs propres sont réelles et non négatives.

    2. Le déterminant de AᵀA − λI se factorise, ce qui est la partie heureuse : la première colonne apporte un facteur entre parenthèses qui se met proprement en facteur et laisse un polynôme du second degré.

    3. L'une des valeurs propres vaut exactement 10 ; les deux autres sont les racines du polynôme du second degré. Leur forme avec radicaux est exacte et les décimales suivent.

    4. Prenez les racines carrées. La vérification est immédiate — la somme des trois valeurs au carré doit être égale à la trace de AᵀA, et 26 est la somme de la diagonale.

    5. Conserver deux directions conserve leur part de ces 26. L'erreur de Frobenius est la racine carrée de la part rejetée, et cette racine carrée constitue la réponse complète.

    6. Deux autres identités s'obtiennent immédiatement à partir des trois mêmes nombres : leur produit est le déterminant en valeur absolue, et leur rapport est le conditionnement. À 2,04, cette matrice est parfaitement bien conditionnée — les 34,5 % ne découlent pas d'une quasi-singularité, il s'agit d'une véritable troisième direction.

    Réponse

    Parce que l'erreur est une racine carrée : √0,119 = 0,345. L'énergie s'exprime en valeurs singulières au carré et l'erreur en valeurs non élevées au carré, de sorte que rejeter un huitième de l'énergie coûte un tiers de la norme, et les deux nombres sur le panneau représentent le même fait rapporté sur deux échelles différentes. C'est le piège de toute affirmation du type "nous avons conservé 95 % de la variance" : 95 % de l'énergie correspond à 22 % d'erreur de reconstruction, et 99 % correspond encore à 10 %. Eckart et Young ont prouvé en 1936 qu'aucune matrice de rang 2 ne fait mieux que 34,5 % ici ; il s'agit donc d'un plancher fixé par la matrice, et non d'une faiblesse de la troncature.

Parcours

Des matrices qui transforment l'espace

Mène à Composantes principales

Références (2)

Exemples de problèmes

  • matrice de rang 2 - La décomposition d'une petite matrice montre les directions et valeurs singulières principales.
  • 3x3 mixte - Σ renvoie 3,591515 ; 3,162278 ; 1,760971. Il s'agit de trois facteurs d'étirement compris dans un rapport de 2,04. Aucune direction ne l'emporte donc. Écartez la plus petite valeur. Vous retenez tout de même 88,1 % de l'énergie, avec une reconstruction qui présente 34,5 % d'erreur. L'outil vous fait remarquer que le rang 2 d'une matrice 3×3 n'est pas plus petit que le stockage de A. La troncature vient ici expliquer la matrice sans la compresser.
  • 3x3 diagonale - U et Vᵀ reviennent sous forme d'identité. Une matrice diagonale n'a aucune direction à trouver. Σ répète donc simplement la diagonale : 5 ; 2 ; 0,5. C'est le seul préréglage ici où la troncature permet d'économiser de l'espace : le rang 1 stocke environ 77,8 % des valeurs de A, là où le rang 2 de la matrice mixte en nécessite davantage. Conserver cette unique direction retient 85,5 % de l'énergie et laisse une erreur de 38,1 % sur la reconstruction.