Surapprentissage : bien ajuster, mal prédire

Un modèle qui s'ajuste parfaitement à vos données ne vous apprend rien sur le reste. Le curseur de degré ci-dessous illustre ce phénomène. Observez une erreur diminuer pendant que l'autre remonte, et remarquez l'écart qui les sépare à la fin.

Exemple résolu — Surapprentissage : bien ajuster, mal prédire

Erreur d'entraînement, sur 28 points	0,1676
Erreur de validation, sur 12 points	0,2054
L'écart entre les deux	0,0379
Erreur de validation, relative	1,23×
Le bruit que nul ne peut prédire	0,2000
Erreur réelle, sur toute la fenêtre	0,2293

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Leçon

La théorie — Surapprentissage : bien ajuster, mal prédire

Le surapprentissage caractérise un modèle qui décrit le bruit de l'échantillon sur lequel il a été ajusté. Ajustez un polynôme de degré d sur n points bruités. L'erreur d'entraînement diminue à chaque degré supplémentaire, car chacun vous offre une nouvelle façon d'infléchir la courbe vers les points que vous possédez déjà. À d = n − 1, la courbe les traverse tous exactement : l'ajustement est parfait et strictement inutile. La seule erreur d'importance est celle mesurée sur des données que le modèle n'a jamais vues.

Ce que signifie chaque symbole

d: le degré du polynôme, la liberté du modèle à se courber
σ: le bruit avec lequel les points ont été tirés, qu'aucun modèle ne saurait prédire

Suppose: Que le bruit est indépendant d'un point à l'autre et que la courbe sous-jacente ne se déplace pas. Dès lors que les erreurs sont corrélées, par la dérive d'un capteur ou un régime de marché, les données mises de côté perdent elles aussi leur indépendance vis-à-vis des données d'entraînement. Chaque nombre présenté sur cette page devient alors optimiste plutôt qu'honnête.

L'erreur d'entraînement ne vous dit pas quand vous arrêter 🖖

Faites glisser le degré de 0 à 12 et observez la courbe bleue. Elle ne monte jamais. Pas une seule fois, quel que soit le réglage des autres paramètres : 144 combinaisons de vérité, taille d'échantillon, bruit et répartition ont été explorées, avec zéro exception. La raison est algébrique plutôt que statistique. Tout polynôme de degré 4 est un polynôme de degré 5 dont un coefficient est nul, de sorte qu'un degré supérieur s'ajustera toujours au moins aussi bien sur les points d'entraînement. S'il ne trouve pas mieux, il conserve simplement la réponse précédente. La question « quel degré donne l'erreur d'entraînement la plus faible ? » n'apporte donc aucune information, puisque la réponse sera toujours le degré le plus élevé que vous avez testé. La courbe bleue n'est pas un diagnostic. Elle mesure la liberté que vous avez laissée au modèle.

Un score de validation meilleur que le bruit n'est pas un exploit 🖖

Réglez la fonction réelle sur Droite, la taille de l'échantillon sur 40, le bruit sur 0,5 et la répartition sur 70 %, puis parcourez le curseur de degré d'un bout à l'autre. Chaque degré affiche une erreur de validation inférieure à 0,5. Au degré 1, elle indique 0,2353. Cela devrait être impossible. Les données correspondent à une droite plus un bruit d'écart-type 0,5. Un modèle qui aurait retrouvé la droite exacte raterait encore chaque point d'environ 0,5 en moyenne, et rien ne peut prédire le bruit. La courbe verte représente cette même erreur calculée exactement au lieu d'être estimée à partir de douze points. Au degré 1, elle indique 0,5037, soit un peu au-dessus du bruit. C'est à cela que ressemble un modèle presque parfait. Elle n'est jamais passée sous le seuil du bruit, sur 468 vérifications à ce niveau de bruit ou sur 8 424 sur l'ensemble de la plage. Le chiffre de validation ne mesurait donc pas le modèle. Il signalait simplement que ces douze points particuliers s'avéraient faciles à prédire. Il se trompait d'un facteur supérieur à deux, dans le sens qui vous flatte le plus.

Une seule répartition trouve la bonne complexité dans 42 % des cas 🖖

Les deux triangles sous le panneau d'erreur indiquent le degré pour lequel vote l'ensemble de validation et le degré qui est véritablement le meilleur. Sur 540 combinaisons de fonction réelle, de taille d'échantillon, de bruit et de répartition, ils ont désigné le même degré dans 226 d'entre elles, et à un degré d'écart dans 325. La distance moyenne entre eux était de 1,85 degré. Les pires cas se sont révélés trop simples de cinq degrés et trop complexes de onze degrés. La direction n'est d'ailleurs pas symétrique. L'ensemble de validation a réclamé 233 fois un modèle plus complexe que le bon, contre 81 fois un modèle plus simple. Un petit ensemble de test peut en effet se laisser séduire par une ondulation qui passe par hasard près de lui. Rien de tout cela ne constitue une faille arithmétique : l'erreur de validation est calculée correctement à chaque fois. Simplement, un chiffre unique calculé à partir d'une douzaine de points n'offre qu'une vision floue de la quantité que vous cherchez réellement. La solution consiste à faire la moyenne de plusieurs répartitions au lieu de se fier à une seule. C'est le principe de la validation croisée, dont cette page illustre la nécessité.

Problème entièrement résolu

Vous avez entendu dire que davantage de données permet d'utiliser un modèle plus grand. Découvrez quand cela se vérifie et quand ce n'est pas le cas, en utilisant les deux fonctions réelles où la réponse diffère. Commencez par les préréglages Une vérité linéaire et Vrai modèle, peu de points, puis comparez l'effet du curseur de taille de l'échantillon sur chacun d'eux.

Ouvrez ce problème dans l'outil
1. Prenez d'abord la droite. Réglez la fonction réelle sur Droite, le bruit sur 0,6, et parcourez toute la plage de tailles d'échantillon. Le degré offrant la plus faible erreur réelle se situe à 1 pour huit des onze tailles, et à 2 pour les trois autres. Il ne monte jamais au-delà de 2 et ne descend pas sous 1. Il n'y a aucune tendance : les degrés 2 tombent à 15, 20 et 50 points, et non pas vers les grandes valeurs. Davantage de données n'achète ici aucun degré supplémentaire.
  
  $straight truth : ar g d min risk (d) = 1 at eight of eleven sample sizes$
2. Passez ensuite à la cubique. C'est ici que le slogan prend tout son sens. Réglez la fonction réelle sur Cubique, le bruit sur 0,6, la répartition sur 70 % et la taille de l'échantillon sur 10. Sept points pour l'entraînement. L'erreur réelle au degré 3 s'élève à 0,7297 et celle au degré 1 vaut 0,6107. Une droite bat donc nettement le modèle correct.
  
  $n = 10, n_{train} = 7 : risk (1) = 0.6107 < risk (3) = 0.7297$
3. Relisez bien cette phrase, car c'est la partie surprenante. Les données ont bel et bien été générées par une cubique, et pourtant, ajuster une cubique se révèle être une erreur. Quatre coefficients estimés à partir de sept points bruités sont si mal définis que l'erreur qu'ils introduisent dépasse la courbure qu'ils capturent.
  
  $four coefficients from seven noisy points : Var [\hat{f}] \propto \frac{d + 1}{n _{train}}$
4. Laissez tout le reste en place et glissez la taille de l'échantillon jusqu'à 40. Vingt-huit points d'entraînement, désormais. Le degré 3 donne 0,6496 et le degré 1 donne 0,6616. La cubique a pris l'avantage et le degré minimisant l'erreur réelle est bien 3.
  
  $n = 40, n_{train} = 28 : risk (3) = 0.6496 < risk (1) = 0.6616$
5. Ces deux cas divergent sur un point. Pour la droite, le degré 1 contient déjà exactement la vérité. Aucune quantité de données ne justifie l'ajout d'un coefficient, car il ne reste rien à expliquer. Pour la cubique à dix points, le degré 3 contient également la vérité, mais l'échantillon est trop petit pour la localiser.
  
  $n 1040 risk (1) 0.6107 0.6616 risk (3) 0.7297 0.6496 best degree 13$
Réponse

Plus de données ne vous achète pas un modèle plus grand. Cela vous donne les moyens de vous offrir le modèle dont vous aviez déjà besoin. Tout dépend si votre classe de modèles actuelle omet un aspect réel. Si c'est le cas, davantage de données vous permettra finalement de capturer cet élément manquant. Si ce n'est pas le cas, l'afflux de données ne modifiera en rien la bonne complexité. Voilà pourquoi la droite reste au degré 1 de dix à cent vingt points, tandis que la cubique fortement bruitée passe de 1 à 3 quelque part entre dix et quarante points. Ce mouvement n'est pas propre. Les sept tailles de 10 à 60 donnent 1, 1, 1, 4, 1, 3, 3. Il s'agit d'une tendance masquée par la variation d'échantillonnage plutôt que d'un escalier régulier, car chaque taille tire son propre échantillon. Un seul essai à une seule taille ne peut pas vous dire auquel de ces deux phénomènes vous avez affaire. C'est exactement la même leçon que répètent les deux triangles sous le panneau d'erreur.

$more data \Rightarrow a bigger model only if bias (d_{now}) > 0$

Parcours

Ajustement d'une droite aux données

Références (3)

Why a high-degree polynomial through evenly spaced points swings wildly between them — the effect the top panel shows at degree 11 and above: C. Runge, “Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten.” Zeitschrift für Mathematik und Physik 46, 224–243, 1901.
The origin of the fix this page argues for but does not implement — averaging several splits instead of trusting one: M. Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions.” Journal of the Royal Statistical Society Series B 36(2), 111–133, 1974.
The standard treatment of everything on this page — the bias-variance decomposition, the shape of a test-error curve, and why a single split is a noisy estimate of it: T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning. Springer, 2009.

Par l’équipe 42Math · Vérifié sur des sources publiées. Corrections bienvenues.