Sobreajuste: un buen ajuste y una mala predicción

Un modelo que se ajusta perfectamente a tus datos no te ha enseñado nada sobre lo demás. El control deslizante de grado lo muestra con claridad: observa cómo un error baja mientras el otro vuelve a subir, y fíjate en lo separados que terminan.

Ejemplo resuelto — Sobreajuste: un buen ajuste y una mala predicción

Error de entrenamiento, en 28 puntos	0,1676
Error en datos reservados, en 12 puntos	0,2054
La brecha entre ambos	0,0379
Error en datos reservados, relativo	1,23×
El ruido que nadie puede predecir	0,2000
Error real, en toda la ventana	0,2293
Así que el conjunto reservado es	2 demasiado simple

Estos son los valores que muestra la calculadora al abrir la página. Cambia cualquier entrada de arriba para recalcularlos.

Cargando simulación interactiva...

Lección

La teoría — Sobreajuste: un buen ajuste y una mala predicción

El sobreajuste se produce cuando un modelo acaba describiendo el ruido de la muestra a la que se ajustó. Ajusta un polinomio de grado d a n puntos con ruido y el error de entrenamiento cae con cada grado extra, porque cada uno aporta otra manera de curvarse hacia los puntos que ya tienes; en d = n − 1 la curva pasa exactamente por todos ellos y el ajuste resulta perfecto e inútil. El error que verdaderamente importa es el de los datos que el ajuste nunca ha visto.

Qué significa cada símbolo

d: el grado del polinomio, la libertad del modelo para curvarse
σ: el ruido con el que se obtuvieron los puntos, que ningún modelo puede predecir

Supone: Que el ruido es independiente de un punto a otro y la curva subyacente no se mueve. Allí donde los errores están correlacionados (un sensor que se desvía, un régimen de mercado), los datos reservados tampoco resultan independientes de los de entrenamiento, y cada cifra de esta página se vuelve optimista en lugar de honesta.

El error de entrenamiento no te dice cuándo parar 🖖

Arrastra el grado de 0 a 12 y observa la curva azul. Nunca sube. Ni una sola vez, sin importar la configuración de cualquier otro control: se exploraron 144 combinaciones de verdad, tamaño de la muestra, ruido y partición, sin excepciones. La razón es algebraica más que estadística. Todo polinomio de grado 4 es un polinomio de grado 5 con un coeficiente cero, por lo que un grado mayor siempre funcionará al menos igual de bien en los puntos a los que se ajustó. Simplemente conserva la respuesta anterior si no logra superarla. Esto hace que «¿qué grado da el menor error de entrenamiento?» sea una pregunta que no aporta información, ya que la respuesta siempre será el mayor que hayas probado. La curva azul no es un diagnóstico. Es una medida de cuánta libertad le diste al modelo.

Una puntuación en datos reservados mejor que el ruido no es habilidad 🖖

Pon la función real en Recta, el tamaño de la muestra en 40, el ruido en 0,5 y la división en 70 %; luego recorre el control de grado de un extremo a otro. Todos los grados muestran un error en datos reservados por debajo de 0,5, y en el grado 1 marca 0,2353. Eso debería ser imposible. Los datos son una recta más un ruido con desviación típica de 0,5, así que un modelo que recuperara la recta exacta seguiría fallando en cada punto por unos 0,5 de media, y nada puede predecir el ruido. La curva verde es ese mismo error calculado de forma exacta en lugar de estimarse a partir de doce puntos, y en el grado 1 marca 0,5037, apenas por encima del ruido, que es el aspecto de un modelo casi perfecto. Ni una sola vez bajó del ruido en 468 comprobaciones con este nivel de ruido, ni en 8.424 comprobaciones en todo el rango. Por lo tanto, el número reservado no estaba midiendo el modelo. Estaba indicando que esos doce puntos en particular resultaron ser fáciles, y se equivocó por más del doble en la dirección que te favorece.

Una sola división acierta la complejidad el 42 % de las veces 🖖

Los dos triángulos bajo el panel de errores son el grado por el que vota el conjunto reservado y el grado que es genuinamente mejor. En 540 combinaciones de función real, tamaño de muestra, ruido y división, coincidieron en el grado en 226 de ellas, y estuvieron a un grado de diferencia en 325. La distancia media entre ambos fue de 1,85 grados, y los peores casos fueron cinco grados demasiado simples y once demasiado complejos. La dirección tampoco es simétrica: 233 veces el conjunto reservado pidió un modelo más complejo que el correcto, frente a 81 veces que lo pidió más simple, porque un pequeño conjunto de prueba puede dejarse engañar por una ondulación que pase cerca. Nada de esto es un fallo aritmético; el error en datos reservados se calcula correctamente siempre. Es solo que un único número calculado a partir de una docena de puntos es una visión borrosa de la cantidad que realmente quieres. La solución es promediar varias divisiones en lugar de confiar en una sola. Eso es la validación cruzada, y esta página es su justificación.

Problema resuelto al detalle

Has oído que más datos te permiten usar un modelo mayor. Averigua cuándo es cierto y cuándo no, usando las dos funciones reales donde la respuesta difiere. Empieza con el preajuste Una recta real y luego con Modelo real, pocos datos, y compara el efecto del control del tamaño de la muestra en cada uno.

Abre este problema en la herramienta
1. Toma la recta primero. Pon la función real en Recta y el ruido en 0,6; luego recorre el tamaño de la muestra por todo su rango. El grado con el menor error real se sitúa en 1 para ocho de los once tamaños y en 2 para los otros tres, y nunca sube de 2 ni baja de 1. No hay ninguna tendencia en ello: los doses caen en 15, 20 y 50 puntos, no en el extremo superior. Aquí, más datos no compran ningún grado.
  
  $straight truth : ar g d min risk (d) = 1 at eight of eleven sample sizes$
2. Ahora la cúbica, que es donde el eslogan se gana el sueldo. Pon la función real en Cúbica, el ruido en 0,6, la división en 70 % y el tamaño de la muestra en 10. Siete puntos para entrenar. El error real en el grado 3 es 0,7297 y en el grado 1 es 0,6107, así que una recta supera al modelo correcto por un amplio margen.
  
  $n = 10, n_{train} = 7 : risk (1) = 0.6107 < risk (3) = 0.7297$
3. Vuelve a leer eso, porque es la parte sorprendente: los datos realmente los generó una cúbica, y ajustar una cúbica es lo incorrecto. Cuatro coeficientes estimados a partir de siete puntos ruidosos están tan mal fijados que el error que acarrean es mayor que la curvatura que capturan.
  
  $four coefficients from seven noisy points : Var [\hat{f}] \propto \frac{d + 1}{n _{train}}$
4. Deja todo lo demás y arrastra el tamaño de la muestra a 40. Veintiocho puntos de entrenamiento ahora. El grado 3 da 0,6496 y el grado 1 da 0,6616, por lo que la cúbica ha tomado la delantera y el grado con menor error real es el 3.
  
  $n = 40, n_{train} = 28 : risk (3) = 0.6496 < risk (1) = 0.6616$
5. Ambos casos difieren en un aspecto. En la recta, el grado 1 ya contiene la verdad exacta, por lo que ninguna cantidad de datos crea un motivo para añadir un coeficiente; no queda nada por explicar. En la cúbica con diez puntos, el grado 3 también contiene la verdad, y la muestra es demasiado pequeña para localizarla.
  
  $n 1040 risk (1) 0.6107 0.6616 risk (3) 0.7297 0.6496 best degree 13$
Respuesta

Más datos no te compran un modelo mayor. Te compran la capacidad de permitirte el modelo que ya necesitabas. La condición es si a tu clase de modelo actual le falta algo real. Si es así, más datos te permitirán finalmente alcanzar la pieza que falta; si no, tener más datos no cambia en absoluto la complejidad adecuada. Por eso la verdad lineal se mantiene en el grado 1 desde diez puntos hasta ciento veinte, mientras que la cúbica con mucho ruido pasa del 1 al 3 en algún punto entre los diez y los cuarenta. Y el movimiento no es ordenado: los siete tamaños del 10 al 60 dan 1, 1, 1, 4, 1, 3, 3, que es una tendencia con variación de muestreo superpuesta en lugar de una escalera, ya que cada tamaño de muestra extrae su propia muestra. Una sola ejecución con un solo tamaño no puede decirte cuál de esas dos cosas estás viendo, que es la misma lección que los dos triángulos debajo del panel de errores no dejan de repetir.

$more data \Rightarrow a bigger model only if bias (d_{now}) > 0$

Ruta de aprendizaje

Ajuste de una recta a los datos

Referencias (3)

Why a high-degree polynomial through evenly spaced points swings wildly between them — the effect the top panel shows at degree 11 and above: C. Runge, “Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten.” Zeitschrift für Mathematik und Physik 46, 224–243, 1901.
The origin of the fix this page argues for but does not implement — averaging several splits instead of trusting one: M. Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions.” Journal of the Royal Statistical Society Series B 36(2), 111–133, 1974.
The standard treatment of everything on this page — the bias-variance decomposition, the shape of a test-error curve, and why a single split is a noisy estimate of it: T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning. Springer, 2009.

Por el equipo de 42Math · Contrastado con fuentes publicadas. Se agradecen correcciones.