Explorador de Geometria dos Mínimos Quadrados

Ajuste dados reais com uma reta ou uma curva e depois examine os resíduos que o método dos mínimos quadrados tenta minimizar.

A carregar a simulação interativa...

Lição

A teoria — Explorador de Geometria dos Mínimos Quadrados

“Mínimos quadrados” designa o que está a ser minimizado: a soma dos resíduos ao quadrado. Geometricamente, os valores ajustados correspondem ao ponto mais próximo dos seus dados dentro do conjunto de curvas que o modelo pode produzir — o mais próximo no sentido comum de linha reta, razão pela qual o vetor de resíduos restante acaba por ser perpendicular a tudo o que o modelo poderia ter feito.

O que significa cada símbolo

residual
um desvio entre um ponto de dados e a curva ajustada, medido verticalmente. O painel lista cada um antes de o elevar ao quadrado.
SSE
a soma dos erros ao quadrado — somar os quadrados de todos os resíduos. 1.3714 para o ajuste da linha reta aqui.
RMSE
a raiz do erro quadrático médio, √(SSE/n) = 0.4781. Ao contrário da SSE, está nas mesmas unidades de y, pelo que é o valor que vale a pena citar.
model
a família de curvas permitidas. Mudar de reta para quadrática alarga essa família de dois números livres para três.

De onde vem a fórmula

  1. Cada curva candidata produz uma lista de valores ajustados. Trate essa lista como um único ponto num espaço n-dimensional e trate os seus dados como outro ponto nesse espaço.
  2. A SSE é então, literalmente, o quadrado da distância entre esses dois pontos. Minimizar a SSE significa encontrar o ponto alcançável mais próximo dos dados — uma projeção, não uma procura.
  3. E a propriedade definidora de uma projeção é que o erro é perpendicular a tudo o que é alcançável. É por isso que os resíduos de um melhor ajuste somam sempre zero e não mostram qualquer correlação restante com x: qualquer padrão desse tipo seria uma direção na qual o modelo ainda se poderia ter movido.

Como ler o que vê

O número de pontos, depois o modelo ajustado por extenso, seguido da SSE apresentada termo a termo — −0.7143² + 0.3714² + 0.4571² + ⋯ = 1.3714 — para que possa ver qual o ponto que está a prejudicar o ajuste antes que os quadrados ocultem os sinais. A RMSE surge em último lugar como o resumo fácil de ler.

Pressupõe
Apenas desvios verticais, pelo que x é tratado como exato e todos os pontos têm o mesmo peso. O modelo também deve ser linear nos seus parâmetros — o que um modelo quadrático continua a ser, apesar da curva, porque entra multiplicado por uma constante.
Falha quando
Uma SSE menor não significa um modelo melhor, e pode prová-lo aqui com um único clique. Mude de reta para quadrática e a SSE desce de 1.3714 para 0.4071 — iria sempre descer, porque uma função quadrática contém todas as retas como o caso particular em que o coeficiente de é zero. Um modelo com maior liberdade não pode ter um ajuste pior, pelo que a SSE por si só nunca lhe poderá dizer se o termo extra é real ou se está a ajustar ruído.

A reta de melhor ajuste sempre passa pelo ponto médio 🖖

Não importa a aparência dos seus dados, a reta de mínimos quadrados passa garantidamente por (x̄, ȳ) — o ponto formado pela média dos x e pela média dos y. Isso não é uma tendência; decorre direto da condição de os resíduos somarem zero, então vale para todo conjunto de dados sem exceção. Isso lhe dá uma conferência gratuita: marque o ponto médio, e qualquer reta candidata que não o toque não é o ajuste de mínimos quadrados. Também explica a fraqueza do método. Como as distâncias são elevadas ao quadrado, um ponto duas vezes mais longe puxa quatro vezes mais forte, então um único ponto discrepante pode girar a reta mais do que uma dúzia de pontos bem comportados a seguram.

Por que elevamos as distâncias ao quadrado 🖖

A ferramenta soma os quadrados das distâncias verticais entre cada ponto e a reta e, então, procura a reta que torna esse total o menor possível. Elevar ao quadrado faz com que uma distância duas vezes maior conte quatro vezes mais, de modo que o ajuste se esforça para evitar qualquer desvio grande isolado. Arraste um ponto para longe e veja toda a reta se lançar em sua direção: esse puxão é o preço direto de elevar ao quadrado.

A regressão não é simétrica 🖖

Como o método dos mínimos quadrados reduz apenas as distâncias verticais, ele supõe em silêncio que y é o alvo e que x é exato. Troque os eixos e ajuste de novo: você obtém uma reta diferente, não a imagem espelhada que esperaria. Ambas as retas passam pelo ponto médio dos dados (x̄, ȳ), mas só coincidem quando os pontos ficam exatamente sobre uma reta. As duas inclinações, multiplicadas, dão até r², o quadrado da correlação.

Prática

Verifique você mesmo

Preveja primeiro a resposta e depois use os controlos acima para confirmar. Revele a solução só depois de se ter comprometido com um palpite — é isso que torna isto prática.

  1. Carrega em frenagem com reta: seis pontos, um ajuste rectilíneo, SQE 84. Carrega agora em frenagem com curva — os mesmos seis pontos, ajustados por uma quadrática. Prevê a nova SQE.

    Mostrar a resposta
    0. Não quase zero: zero, com RMSE 0 e uma curva ajustada de ŷ = 8 − 0.25x + 0.015x². Estes seis pontos saíram exactamente dessa parábola, e assim que a família de curvas permitidas contém a verdade não sobra nada para elevar ao quadrado. Uma SQE que desce não prova nada por si só — uma família mais larga nunca pode ajustar pior. Uma queda até ao chão é de outra natureza, porque não fica resíduo nenhum que um modelo posterior possa remover.
  2. Carrega em retenção do curso, que ajusta uma recta com SQE 1.3714 e uma participação do maior ponto de 37.2%. Muda o selector de modelo para Quadrático. A SQE vai descer — prevê o que faz essa participação.

    Mostrar a resposta
    Sobe, para 56.3%, enquanto a SQE cai para 0.4071. Uma participação não é uma quantidade: a liberdade extra puxou a curva para os pontos que conseguia alcançar, pelo que o único que continua fora de alcance ocupa agora uma fracção maior de um total menor. Um aviso já que aqui estás — carregar em qualquer predefinido devolve o selector a Reta, por isso estes números só significam isto enquanto Quadrático continuar visível.
  3. Volta a frenagem com reta. O resultado mostra cinco dos seis resíduos antes do seu : 5, −1, −4, −4, −1. Qual é o sexto, e o que é que os seis juntos te dizem que a SQE 84 não diz?

    Mostrar a resposta
    +5. Os resíduos de um ajuste por mínimos quadrados somam sempre zero e os cinco mostrados dão −5, logo o que falta fica forçado. O gráfico de resíduos desenha exactamente essa forma: duas barras altas para cima nas pontas, quatro a mergulhar para baixo no meio, um U bem limpo. Somar zero e não deixar inclinação contra x é tudo o que os mínimos quadrados garantem, e um U simétrico cumpre as duas coisas — os seus resíduos somam mesmo zero, e ele não pende para lado nenhum — uma recta não o consegue absorver nem dar por ele. A SQE diz que o ajuste está folgado; só o padrão diz que está folgado numa direcção de cada vez.

Problema resolvido na íntegra

  1. Seis pontos com uma soma de erros quadráticos de 1,3714 5 passos

    Seis pontos, uma reta ajustada e uma soma dos erros quadráticos de 1,3714. Determine quanto desse total provém de um único ponto — e prove um facto sobre os resíduos que se aplica a qualquer ajustamento por mínimos quadrados alguma vez calculado.

    1. Os coeficientes provêm das mesmas duas somas que em qualquer regressão simples: como x e y variam em conjunto, a dividir por como x varia isoladamente.

    2. Isso dá a reta apresentada no painel. Nada nestes dados é especial — trata-se de uma sequência quase reta de seis pontos com uma pequena dispersão.

    3. Os resíduos são aquilo que o ajustamento não conseguiu explicar. Ao calcular todos os seis, um deles destaca-se: o ponto em x = 0 tem um desvio de −0,7143, cerca do dobro do erro típico.

    4. Antes de os utilizar, note que a sua soma é zero — não aproximadamente, mas exatamente. Isso é imposto pela ordenada na origem: a segunda equação normal é a afirmação de que os resíduos têm média zero, pelo que tal se verifica para qualquer reta de mínimos quadrados, independentemente dos dados.

    5. Elevar ao quadrado destrói esse equilíbrio, e esse é o aspeto essencial. O −0,7143 passa a 0,5102, o que representa 37,2% da SSE total de 1,3714 — um único ponto em seis a suportar mais de um terço da penalização.

    Resposta

    A ferramenta indica SSE = 1,3714, RMSE = 0,4781 e uma quota do maior ponto de 37,2%. Ambos os factos são importantes e atuam em sentidos opostos. A soma dos resíduos ser igual a zero significa que a reta está equilibrada; os 37,2% indicam que o ajustamento não está, porque elevar ao quadrado pondera um erro de tamanho duplo com um peso quatro vezes maior. É exatamente por isso que os mínimos quadrados são tão sensíveis a valores discrepantes, e porque a propriedade de a soma dos resíduos ser zero não oferece qualquer proteção: um único ponto atípico não consegue alterar a média dos resíduos, mas pode ainda assim dominar aquilo que a reta tenta minimizar.

Percurso de aprendizagem

Ajustar uma reta aos dados

Conduz a Regressão linear a reta ajustada como uma projeção e a razão pela qual os seus resíduos são perpendiculares ao modelo.

Referências (1)
  • Least squares as an orthogonal projection, which is what makes the residuals perpendicular to the model: G. Strang, Introduction to Linear Algebra, 5th ed., chapter 4 (“Orthogonality”). Wellesley-Cambridge Press, 2016. ISBN 978-0-9802327-7-6.

Problemas de exemplo

  • retenção do curso - Seis pontos, SSE 1,3714 e R² 0,9978. É o conjunto de dados do problema resolvido, cuja reta y = 42,71 + 5,91x passa pelo ponto médio (2,5; 57,5).
  • outlier de campanha - Os primeiros cinco pontos estão sobre uma reta de declive exatamente igual a 5. O sexto faz o declive ajustado subir para 8,54 e, sozinho, responde por 47,5% da SSE: um ponto em seis concentra quase metade do erro.
  • frenagem com reta - Uma reta ajustada a dados parabólicos: SSE 84,0 e R² 0,9618. O resultado parece convincente até observarmos os resíduos, que formam uma curva em vez de se dispersarem.
  • frenagem com curva - Os mesmos seis pontos, agora com um ajuste quadrático: y = 8 - 0,25x + 0,015x², com SSE exatamente igual a 0. Os dados pertencem a essa parábola até ao último algarismo; com a reta, a SSE era 84.
  • preços de imóveis - Sete apartamentos a 2,74 mil por metro quadrado, R² 0,998 e SSE 88,39. Dados de aspeto realista, mas ainda quase perfeitamente alinhados.