Problemas resolvidos na íntegra
-
Seis pontos com 99,49% da variância em PC1 e 0,51% em PC2 8 passos
Seis pontos: (2, 1), (3, 2), (4, 2,2), (5, 3,2), (6, 3,9), (7, 5). O painel indica 99,49% da variância em PC1 e 0,51% em PC2, o que parece uma nuvem que é essencialmente uma reta. Determine a que distância dessa reta os pontos realmente se situam.
-
Centrar primeiro, pois tudo o que se segue diz respeito à dispersão e nada à posição. Os valores de x variam de 2 a 7 em passos unitários, pelo que a sua média se situa no meio do intervalo e a coluna de x centrada é simétrica: ±0,5, ±1,5, ±2,5. Apenas y exige cálculo.
-
A covariância divide a soma dos produtos por n − 1 = 5, e não por 6. Já foi gasto um grau de liberdade a estimar a média que se acabou de subtrair, e com apenas seis pontos essa correção vale 20%.
-
Dois números bastam para obter ambos os valores próprios, e nenhum deles exige uma direção. O traço é a variância total; o determinante mede a distância a que a matriz está de ser singular. Perante um traço de 5,581667, um determinante de 0,156933 corresponde a uma matriz que é quase de caraterística 1.
-
Resolva a equação quadrática caraterística. λ1 resulta em cerca de 200 vezes λ2 — a forma desta nuvem comprimida numa única comparação.
-
As linhas da variância explicada são essa razão e nada mais. Assim, 99,49% é uma afirmação sobre λ1 e λ2, e herda o que eles são: variâncias, que mantêm as unidades dos dados ao quadrado. Guarde esta ideia.
-
A direção é o vetor próprio, e para uma matriz de covariância 2×2 com elementos fora da diagonal não nulos pode escrevê-lo sem resolver nada: (λ1 − Syy, Sxy) já aponta ao longo de PC1. Escale-o para comprimento unitário e obterá o vetor apresentado.
-
Rode esse vetor um quarto de volta para obter v2, depois projete o primeiro ponto centrado sobre ele. O resultado, 0,031179, é o segundo número na tabela de pontuações. Assim, toda essa coluna — que o painel apresenta sem nunca explicar o que é — é a distância com sinal de cada ponto à reta de PC1, e o pior dos seis é −0,236855.
-
Agora a questão que as percentagens estavam a ocultar. λ2 é uma variância, pelo que é uma distância ao quadrado, e o desvio típico é a sua raiz quadrada. Compare isso com a raiz quadrada de λ1, que é a dispersão ao longo da reta.
Resposta
Os pontos encontram-se a cerca de 7,13% do comprimento da nuvem em relação à reta de PC1, e não a 0,51%. Ambas as figuras descrevem os mesmos seis pontos; uma é uma razão de quadrados e a outra uma razão de comprimentos, e a raiz quadrada entre elas vale aqui um fator de 14. Essa diferença é a armadilha em qualquer regra da forma "manter 99% da variância": para manter o desvio perpendicular abaixo de 1% da dispersão é necessário que PC2 fique abaixo de 0,01% da variância, cem vezes mais rigoroso do que a regra parece sugerir. Nas unidades dos dados o desvio é √λ2 = 0,168104, e não está escondido — está desenhado no gráfico como o segmento cinzento de cada ponto verde à sua projeção azul, e os segmentos não têm claramente comprimento zero.
-
-
PC1 de declive 0,769 e um ajuste de mínimos quadrados de 0,763 6 passos
PC1 é apresentado como (0,792687, 0,609629), uma direção com declive de 0,769. Ajustando y a x por mínimos quadrados, a partir das mesmíssimas entradas de covariância, obtém-se 2,67/3,5 = 0,763. Duas retas através de uma nuvem de seis pontos. Mostre qual é a mais inclinada — e que é sempre essa.
-
Os mínimos quadrados em y minimizam as folgas verticais, e o minimizador é Sxy/Sxx. Note o que está no denominador: a dispersão apenas de x. O ajuste toma x como dado e pergunta apenas o que y faz em resposta.
-
O declive de PC1 lê-se diretamente do vetor unitário apresentado, dado que uma direção (a, b) tem declive b/a. Situa-se cerca de 6 milésimos acima do declive de regressão — pequeno, mas não nulo.
-
Para comparar adequadamente os dois, escreva o declive de PC1 da forma como o vetor próprio o define, em vez de como uma razão de decimais. O numerador é o mesmo Sxy em ambos, pelo que toda a diferença reside no denominador: Sxx para a regressão, λ1 − Syy para PC1.
-
Desenvolva λ1. Saber se a ACP tem o menor denominador tornou-se agora uma questão sobre uma única raiz quadrada.
-
E essa raiz quadrada é menor do que o traço precisamente quando o determinante é positivo, o que se verifica para qualquer nuvem que não seja uma reta perfeita. O denominador de PC1 é, portanto, sempre o menor, pelo que PC1 é sempre a mais inclinada das duas. Nada sobre estes seis pontos foi utilizado.
-
Inverta os papéis e faça a regressão de x em y. Essa é uma terceira reta, e reescrever o seu declive para a mesma representação de y em função de x situa-o em 0,779650. PC1 não se altera com a inversão — a matriz de covariância é simétrica em x e y —, pelo que o argumento do passo anterior se aplica agora em sentido inverso, sendo PC1 a menos inclinada deste par.
Resposta
Três retas através de uma nuvem: 0,762857 < 0,769067 < 0,779650, com PC1 estritamente no meio. As duas regressões divergem em 2,2% numa nuvem que o painel classifica como 99,49% unidimensional, e divergem porque respondem a perguntas diferentes — prever y a partir de x, ou prever x a partir de y. PC1 não responde a nenhuma delas. Minimiza a distância perpendicular, pelo que reetiquetar os eixos roda a imagem e deixa a reta exatamente onde estava, e os seus resíduos são a segunda coluna de pontuações em vez de um desvio vertical. As três colapsam numa só apenas quando det C = 0, ou seja, quando os pontos são realmente colineares e já não há nada sobre o que divergir. Entre esses extremos, a ACP é a reta a utilizar quando ambas as coordenadas contêm erro de medição, e a reta errada quando se pretende genuinamente uma previsão: o declive de regressão é propositadamente menos inclinado, porque a atração no sentido horizontal é o que torna mínimo o erro quadrático de previsão.
-
Percurso de aprendizagem
Matrizes que movem coisas
Referências (2)
- Insight block 3 — the perpendicular line of closest fit, thirty years before the name: K. Pearson, "On lines and planes of closest fit to systems of points in space." Philosophical Magazine 2(11), 559–572, 1901.
- Where "principal component" was coined: H. Hotelling, "Analysis of a complex of statistical variables into principal components." Journal of Educational Psychology 24(6), 417–441, 1933.