Lição
A teoria — Explorador de Geometria dos Mínimos Quadrados
“Mínimos quadrados” designa o que está a ser minimizado: a soma dos resíduos ao quadrado. Geometricamente, os valores ajustados correspondem ao ponto mais próximo dos seus dados dentro do conjunto de curvas que o modelo pode produzir — o mais próximo no sentido comum de linha reta, razão pela qual o vetor de resíduos restante acaba por ser perpendicular a tudo o que o modelo poderia ter feito.
O que significa cada símbolo
residual- um desvio entre um ponto de dados e a curva ajustada, medido verticalmente. O painel lista cada um antes de o elevar ao quadrado.
SSE- a soma dos erros ao quadrado — somar os quadrados de todos os resíduos.
1.3714para o ajuste da linha reta aqui. RMSE- a raiz do erro quadrático médio,
√(SSE/n) = 0.4781. Ao contrário da SSE, está nas mesmas unidades de y, pelo que é o valor que vale a pena citar. model- a família de curvas permitidas. Mudar de reta para quadrática alarga essa família de dois números livres para três.
De onde vem a fórmula
- Cada curva candidata produz uma lista de valores ajustados. Trate essa lista como um único ponto num espaço n-dimensional e trate os seus dados como outro ponto nesse espaço.
- A SSE é então, literalmente, o quadrado da distância entre esses dois pontos. Minimizar a SSE significa encontrar o ponto alcançável mais próximo dos dados — uma projeção, não uma procura.
- E a propriedade definidora de uma projeção é que o erro é perpendicular a tudo o que é alcançável. É por isso que os resíduos de um melhor ajuste somam sempre zero e não mostram qualquer correlação restante com x: qualquer padrão desse tipo seria uma direção na qual o modelo ainda se poderia ter movido.
Como ler o que vê
O número de pontos, depois o modelo ajustado por extenso, seguido da SSE apresentada termo a termo — −0.7143² + 0.3714² + 0.4571² + ⋯ = 1.3714 — para que possa ver qual o ponto que está a prejudicar o ajuste antes que os quadrados ocultem os sinais. A RMSE surge em último lugar como o resumo fácil de ler.
- Pressupõe
- Apenas desvios verticais, pelo que x é tratado como exato e todos os pontos têm o mesmo peso. O modelo também deve ser linear nos seus parâmetros — o que um modelo quadrático continua a ser, apesar da curva, porque
x²entra multiplicado por uma constante. - Falha quando
- Uma SSE menor não significa um modelo melhor, e pode prová-lo aqui com um único clique. Mude de reta para quadrática e a SSE desce de
1.3714para0.4071— iria sempre descer, porque uma função quadrática contém todas as retas como o caso particular em que o coeficiente dex²é zero. Um modelo com maior liberdade não pode ter um ajuste pior, pelo que a SSE por si só nunca lhe poderá dizer se o termo extra é real ou se está a ajustar ruído.
Prática
Verifique você mesmo
Preveja primeiro a resposta e depois use os controlos acima para confirmar. Revele a solução só depois de se ter comprometido com um palpite — é isso que torna isto prática.
-
Carrega em frenagem com reta: seis pontos, um ajuste rectilíneo, SQE
84. Carrega agora em frenagem com curva — os mesmos seis pontos, ajustados por uma quadrática. Prevê a nova SQE.Mostrar a resposta
0. Não quase zero: zero, com RMSE0e uma curva ajustada deŷ = 8 − 0.25x + 0.015x². Estes seis pontos saíram exactamente dessa parábola, e assim que a família de curvas permitidas contém a verdade não sobra nada para elevar ao quadrado. Uma SQE que desce não prova nada por si só — uma família mais larga nunca pode ajustar pior. Uma queda até ao chão é de outra natureza, porque não fica resíduo nenhum que um modelo posterior possa remover. -
Carrega em retenção do curso, que ajusta uma recta com SQE
1.3714e uma participação do maior ponto de37.2%. Muda o selector de modelo para Quadrático. A SQE vai descer — prevê o que faz essa participação.Mostrar a resposta
Sobe, para56.3%, enquanto a SQE cai para0.4071. Uma participação não é uma quantidade: a liberdade extra puxou a curva para os pontos que conseguia alcançar, pelo que o único que continua fora de alcance ocupa agora uma fracção maior de um total menor. Um aviso já que aqui estás — carregar em qualquer predefinido devolve o selector a Reta, por isso estes números só significam isto enquanto Quadrático continuar visível. -
Volta a frenagem com reta. O resultado mostra cinco dos seis resíduos antes do seu
⋯:5,−1,−4,−4,−1. Qual é o sexto, e o que é que os seis juntos te dizem que a SQE84não diz?Mostrar a resposta
+5. Os resíduos de um ajuste por mínimos quadrados somam sempre zero e os cinco mostrados dão−5, logo o que falta fica forçado. O gráfico de resíduos desenha exactamente essa forma: duas barras altas para cima nas pontas, quatro a mergulhar para baixo no meio, um U bem limpo. Somar zero e não deixar inclinação contra x é tudo o que os mínimos quadrados garantem, e um U simétrico cumpre as duas coisas — os seus resíduos somam mesmo zero, e ele não pende para lado nenhum — uma recta não o consegue absorver nem dar por ele. A SQE diz que o ajuste está folgado; só o padrão diz que está folgado numa direcção de cada vez.
Problema resolvido na íntegra
-
Seis pontos com uma soma de erros quadráticos de 1,3714 5 passos
Seis pontos, uma reta ajustada e uma soma dos erros quadráticos de 1,3714. Determine quanto desse total provém de um único ponto — e prove um facto sobre os resíduos que se aplica a qualquer ajustamento por mínimos quadrados alguma vez calculado.
-
Os coeficientes provêm das mesmas duas somas que em qualquer regressão simples: como x e y variam em conjunto, a dividir por como x varia isoladamente.
-
Isso dá a reta apresentada no painel. Nada nestes dados é especial — trata-se de uma sequência quase reta de seis pontos com uma pequena dispersão.
-
Os resíduos são aquilo que o ajustamento não conseguiu explicar. Ao calcular todos os seis, um deles destaca-se: o ponto em x = 0 tem um desvio de −0,7143, cerca do dobro do erro típico.
-
Antes de os utilizar, note que a sua soma é zero — não aproximadamente, mas exatamente. Isso é imposto pela ordenada na origem: a segunda equação normal é a afirmação de que os resíduos têm média zero, pelo que tal se verifica para qualquer reta de mínimos quadrados, independentemente dos dados.
-
Elevar ao quadrado destrói esse equilíbrio, e esse é o aspeto essencial. O −0,7143 passa a 0,5102, o que representa 37,2% da SSE total de 1,3714 — um único ponto em seis a suportar mais de um terço da penalização.
Resposta
A ferramenta indica SSE = 1,3714, RMSE = 0,4781 e uma quota do maior ponto de 37,2%. Ambos os factos são importantes e atuam em sentidos opostos. A soma dos resíduos ser igual a zero significa que a reta está equilibrada; os 37,2% indicam que o ajustamento não está, porque elevar ao quadrado pondera um erro de tamanho duplo com um peso quatro vezes maior. É exatamente por isso que os mínimos quadrados são tão sensíveis a valores discrepantes, e porque a propriedade de a soma dos resíduos ser zero não oferece qualquer proteção: um único ponto atípico não consegue alterar a média dos resíduos, mas pode ainda assim dominar aquilo que a reta tenta minimizar.
-
Percurso de aprendizagem
Ajustar uma reta aos dados
Referências (1)
- Least squares as an orthogonal projection, which is what makes the residuals perpendicular to the model: G. Strang, Introduction to Linear Algebra, 5th ed., chapter 4 (“Orthogonality”). Wellesley-Cambridge Press, 2016. ISBN 978-0-9802327-7-6.