Sobreajuste: bom ajuste e más previsões

Um modelo que se ajusta perfeitamente aos seus dados não lhe diz nada sobre o resto. O controlo deslizante do grau abaixo torna isso palpável. Observe um erro a descer enquanto o outro volta a subir e repare na distância a que terminam um do outro.

Exemplo resolvido — Sobreajuste: bom ajuste e más previsões

Erro de treino, em 28 pontos	0,1676
Erro de validação, em 12 pontos	0,2054
A diferença entre ambos	0,0379
Erro de validação, relativo	1,23×
O ruído que ninguém consegue prever	0,2000
Erro verdadeiro, em toda a janela	0,2293
Logo, o conjunto de validação é	2 demasiado simples

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Lição

A teoria — Sobreajuste: bom ajuste e más previsões

O sobreajuste é um modelo que descreve o ruído da amostra na qual foi ajustado. Ajuste um polinômio de grau d a n pontos ruidosos e o erro de treinamento cai a cada grau adicional, pois cada um confere uma nova maneira de curvar a função em direção aos pontos que já possuímos; em d = n − 1 a curva passa exatamente por todos eles e o ajuste é perfeito e inútil. O erro que importa é aquele sobre dados que o modelo nunca viu.

O que significa cada símbolo

d: o grau do polinômio, a liberdade do modelo para se curvar
σ: o ruído com que os pontos foram obtidos, que nenhum modelo pode prever

Pressupõe: Que o ruído é independente de ponto a ponto e a curva subjacente não se move. Quando os erros apresentam correlação, como na deriva de um sensor ou num regime de mercado, os dados reservados também não são independentes dos dados de treinamento, e cada número nesta página torna-se otimista em vez de honesto.

O erro de treino não lhe diz quando parar 🖖

Arraste o grau de 0 a 12 e observe a curva azul. Ela nunca sobe. Nem uma única vez, em qualquer ajuste de qualquer outro controle: 144 combinações de verdade, tamanho da amostra, ruído e divisão foram analisadas, sem qualquer exceção. A razão é algébrica, não estatística. Todo polinômio de grau 4 é um polinômio de grau 5 com um coeficiente nulo, portanto um grau mais alto sempre pode se sair pelo menos tão bem nos pontos aos quais foi ajustado. Ele simplesmente mantém a resposta antiga caso não consiga superá-la. Isso faz de "qual grau produz o menor erro de treinamento?" uma pergunta desprovida de informação, já que a resposta é sempre o maior que você tentou. A curva azul não é um diagnóstico. Ela é uma medida de quanta liberdade você deu ao modelo.

Uma pontuação de validação melhor que o ruído não é mérito 🖖

Defina a função verdadeira como Reta, o tamanho da amostra para 40, o ruído para 0,5 e a divisão para 70%. Depois mova o grau de ponta a ponta. Todos os graus apresentam um erro de validação inferior a 0,5, sendo que no grau 1 regista 0,2353. Isso deveria ser impossível. Os dados são uma reta mais um ruído com desvio padrão de 0,5. Um modelo que recuperasse a reta com exatidão falharia cada ponto por cerca de 0,5 em média, e nada consegue prever o ruído. A curva verde é esse mesmo erro calculado com exatidão, em vez de ser estimado a partir de doze pontos. No grau 1 marca 0,5037, um pouco acima do ruído, que é o aspeto de um modelo quase perfeito. Nunca desceu abaixo do ruído nas 468 verificações a este nível de ruído, nem nas 8424 em toda a gama. Portanto, o valor de validação não estava a medir o modelo. Estava a indicar que estes doze pontos específicos calharam ser fáceis. O erro foi superior ao dobro, na direção que mais nos lisonjeia.

Uma divisão acerta na complexidade em 42% das vezes 🖖

Os dois triângulos sob o painel de erro são o grau no qual a validação vota e o grau que é genuinamente o melhor. Ao longo de 540 combinações de função verdadeira, tamanho de amostra, ruído e divisão, calharam no mesmo grau em 226 delas, e ficaram a um grau de distância em 325. A distância média entre ambos foi de 1,85 graus. Os piores casos foram cinco graus demasiado simples e onze demasiado complexos. A direção também não é simétrica. Em 233 ocasiões o conjunto de validação pediu um modelo mais complexo do que o correto, contra 81 vezes em que pediu um mais simples. Um pequeno conjunto de teste pode ser enganado por uma oscilação que passe perto dele. Nada disto é uma falha aritmética, pois o erro de validação é sempre bem calculado. Acontece que um único número calculado a partir de uma dúzia de pontos é uma visão turva da quantidade que realmente procura. A solução é fazer a média de várias divisões em vez de confiar apenas numa. Isso é a validação cruzada, e esta página é o argumento a seu favor.

Problema resolvido na íntegra

Já ouviu dizer que mais dados permitem usar um modelo maior. Descubra quando isso é verdade e quando não é, usando as duas funções onde a resposta diverge. Comece pela predefinição Uma verdade linear e pela predefinição Modelo certo, sem dados. Compare o efeito do controlo deslizante do tamanho da amostra em cada uma delas.

Abrir este problema na ferramenta
1. Pegue primeiro na reta. Defina a função verdadeira como Reta, o ruído para 0,6 e percorra o tamanho da amostra em toda a sua extensão. O grau com o menor erro verdadeiro fixa-se em 1 para oito dos onze tamanhos e em 2 para os outros três, nunca subindo além de 2 ou descendo abaixo de 1. Não há qualquer tendência. Os dois calham nos 15, 20 e 50 pontos, não no extremo superior. Aqui, mais dados não compram quaisquer graus.
  
  $straight truth : ar g d min risk (d) = 1 at eight of eleven sample sizes$
2. Agora a cúbica, que é onde o slogan justifica a sua existência. Defina a função verdadeira como Cúbica, o ruído para 0,6, a divisão para 70% e o tamanho da amostra para 10. Sete pontos para treinar. O erro verdadeiro no grau 3 é 0,7297 e no grau 1 é 0,6107. Logo, uma reta supera o modelo correto por uma margem clara.
  
  $n = 10, n_{train} = 7 : risk (1) = 0.6107 < risk (3) = 0.7297$
3. Leia isso novamente, porque é a parte surpreendente. Os dados foram mesmo gerados por uma cúbica e, no entanto, ajustar uma cúbica é o passo errado. Quatro coeficientes estimados a partir de sete pontos ruidosos estão tão mal definidos que o erro que carregam é maior do que a curvatura que captam.
  
  $four coefficients from seven noisy points : Var [\hat{f}] \propto \frac{d + 1}{n _{train}}$
4. Deixe tudo o resto e arraste o tamanho da amostra para 40. Agora há vinte e oito pontos de treino. O grau 3 dá 0,6496 e o grau 1 dá 0,6616. A cúbica avançou para a frente e o grau com o menor erro verdadeiro passou a ser 3.
  
  $n = 40, n_{train} = 28 : risk (3) = 0.6496 < risk (1) = 0.6616$
5. Os dois casos diferem num aspeto. Para a reta, o grau 1 já contém a verdade com exatidão. Nenhuma quantidade de dados cria motivo para adicionar um coeficiente, pois não resta nada por explicar. Para a cúbica com dez pontos, o grau 3 também contém a verdade, mas a amostra é pequena demais para a localizar.
  
  $n 1040 risk (1) 0.6107 0.6616 risk (3) 0.7297 0.6496 best degree 13$
Resposta

Mais dados não compram um modelo maior. Compram a capacidade de suportar o modelo de que já precisava. A condição é saber se falta algo real à sua classe atual de modelos. Se faltar, mais dados permitem-lhe acabar por alcançar a peça em falta. Se não faltar, mais dados não mudam nada sobre a complexidade certa. É por isso que a verdade linear permanece no grau 1, desde dez pontos até cento e vinte. A cúbica com muito ruído passa de 1 para 3 algures entre os dez pontos e os quarenta. O movimento não é ordenado. Os sete tamanhos de 10 a 60 dão 1, 1, 1, 4, 1, 3, 3. Trata-se de uma tendência com variação de amostragem por cima, em vez de uma escada, visto que cada tamanho de amostra extrai a sua própria amostra. Uma única execução num único tamanho não consegue dizer-lhe para qual dessas duas coisas está a olhar. Esta é a mesma lição que os dois triângulos debaixo do painel de erro não se cansam de dar.

$more data \Rightarrow a bigger model only if bias (d_{now}) > 0$

Percurso de aprendizagem

Ajustar uma reta a dados

Referências (3)

Why a high-degree polynomial through evenly spaced points swings wildly between them — the effect the top panel shows at degree 11 and above: C. Runge, “Über empirische Funktionen und die Interpolation zwischen äquidistanten Ordinaten.” Zeitschrift für Mathematik und Physik 46, 224–243, 1901.
The origin of the fix this page argues for but does not implement — averaging several splits instead of trusting one: M. Stone, “Cross-Validatory Choice and Assessment of Statistical Predictions.” Journal of the Royal Statistical Society Series B 36(2), 111–133, 1974.
The standard treatment of everything on this page — the bias-variance decomposition, the shape of a test-error curve, and why a single split is a noisy estimate of it: T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning. Springer, 2009.

Pela equipa 42Math · Verificado com fontes publicadas. Correções bem-vindas.