Visualizador de PCA 2D/3D

Centralize os dados, calcule as direções principais e analise quanto de variância é capturado.

A carregar a simulação interativa...

Mude as unidades e o PCA dá outra resposta 🖖

A PCA assenta na matriz de covariância, e a covariância conserva as unidades. Registe a altura de uma pessoa em metros e o peso em quilogramas: obterá um determinado conjunto de componentes. Se passar a medir a altura em milímetros, os valores dessa variável aumentam mil vezes, a sua variância aumenta um milhão de vezes e a primeira componente principal passa a apontar quase inteiramente nessa direção. Os dados não mudaram; mudou apenas a régua usada para os medir. Por isso, nas análises reais, todas as variáveis são primeiro padronizadas para terem média zero e variância unitária, o que equivale a aplicar a PCA à matriz de correlação em vez da matriz de covariância. Ao contrário da regressão, a PCA não consegue distinguir um número grande de um número importante.

A direção para a qual seus dados se inclinam 🖖

A análise de componentes principais procura a única reta ao longo da qual sua nuvem de pontos mais se estende e mede a posição de cada ponto sobre ela. A porcentagem de variância explicada informa quanto da dispersão essa única reta preserva. Aqui, quando o PC1 ultrapassa cerca de 85%, a ferramenta avisa que um resumo plano em 1D quase nada perde. Troque os conjuntos de exemplo e veja uma nuvem fortemente correlacionada ceder quase toda a sua variância ao PC1.

Não é o mesmo que uma reta de regressão 🖖

É tentador interpretar a PC1 como a habitual reta de melhor ajuste, mas os dois métodos otimizam grandezas diferentes. A regressão linear minimiza as distâncias verticais à reta, medidas ao longo do eixo y; a PCA minimiza as distâncias perpendiculares. Para os mesmos pontos, as duas retas podem divergir de forma clara. Em 1901, Karl Pearson publicou precisamente esta reta de ajuste mais próximo, definida por distâncias perpendiculares, três décadas antes de surgir a expressão componente principal.

Problemas resolvidos na íntegra

  1. Seis pontos com 99,49% da variância em PC1 e 0,51% em PC2 8 passos

    Seis pontos: (2, 1), (3, 2), (4, 2,2), (5, 3,2), (6, 3,9), (7, 5). O painel indica 99,49% da variância em PC1 e 0,51% em PC2, o que parece uma nuvem que é essencialmente uma reta. Determine a que distância dessa reta os pontos realmente se situam.

    1. Centrar primeiro, pois tudo o que se segue diz respeito à dispersão e nada à posição. Os valores de x variam de 2 a 7 em passos unitários, pelo que a sua média se situa no meio do intervalo e a coluna de x centrada é simétrica: ±0,5, ±1,5, ±2,5. Apenas y exige cálculo.

    2. A covariância divide a soma dos produtos por n − 1 = 5, e não por 6. Já foi gasto um grau de liberdade a estimar a média que se acabou de subtrair, e com apenas seis pontos essa correção vale 20%.

    3. Dois números bastam para obter ambos os valores próprios, e nenhum deles exige uma direção. O traço é a variância total; o determinante mede a distância a que a matriz está de ser singular. Perante um traço de 5,581667, um determinante de 0,156933 corresponde a uma matriz que é quase de caraterística 1.

    4. Resolva a equação quadrática caraterística. λ1 resulta em cerca de 200 vezes λ2 — a forma desta nuvem comprimida numa única comparação.

    5. As linhas da variância explicada são essa razão e nada mais. Assim, 99,49% é uma afirmação sobre λ1 e λ2, e herda o que eles são: variâncias, que mantêm as unidades dos dados ao quadrado. Guarde esta ideia.

    6. A direção é o vetor próprio, e para uma matriz de covariância 2×2 com elementos fora da diagonal não nulos pode escrevê-lo sem resolver nada: (λ1 − Syy, Sxy) já aponta ao longo de PC1. Escale-o para comprimento unitário e obterá o vetor apresentado.

    7. Rode esse vetor um quarto de volta para obter v2, depois projete o primeiro ponto centrado sobre ele. O resultado, 0,031179, é o segundo número na tabela de pontuações. Assim, toda essa coluna — que o painel apresenta sem nunca explicar o que é — é a distância com sinal de cada ponto à reta de PC1, e o pior dos seis é −0,236855.

    8. Agora a questão que as percentagens estavam a ocultar. λ2 é uma variância, pelo que é uma distância ao quadrado, e o desvio típico é a sua raiz quadrada. Compare isso com a raiz quadrada de λ1, que é a dispersão ao longo da reta.

    Resposta

    Os pontos encontram-se a cerca de 7,13% do comprimento da nuvem em relação à reta de PC1, e não a 0,51%. Ambas as figuras descrevem os mesmos seis pontos; uma é uma razão de quadrados e a outra uma razão de comprimentos, e a raiz quadrada entre elas vale aqui um fator de 14. Essa diferença é a armadilha em qualquer regra da forma "manter 99% da variância": para manter o desvio perpendicular abaixo de 1% da dispersão é necessário que PC2 fique abaixo de 0,01% da variância, cem vezes mais rigoroso do que a regra parece sugerir. Nas unidades dos dados o desvio é √λ2 = 0,168104, e não está escondido — está desenhado no gráfico como o segmento cinzento de cada ponto verde à sua projeção azul, e os segmentos não têm claramente comprimento zero.

  2. PC1 de declive 0,769 e um ajuste de mínimos quadrados de 0,763 6 passos

    PC1 é apresentado como (0,792687, 0,609629), uma direção com declive de 0,769. Ajustando y a x por mínimos quadrados, a partir das mesmíssimas entradas de covariância, obtém-se 2,67/3,5 = 0,763. Duas retas através de uma nuvem de seis pontos. Mostre qual é a mais inclinada — e que é sempre essa.

    1. Os mínimos quadrados em y minimizam as folgas verticais, e o minimizador é Sxy/Sxx. Note o que está no denominador: a dispersão apenas de x. O ajuste toma x como dado e pergunta apenas o que y faz em resposta.

    2. O declive de PC1 lê-se diretamente do vetor unitário apresentado, dado que uma direção (a, b) tem declive b/a. Situa-se cerca de 6 milésimos acima do declive de regressão — pequeno, mas não nulo.

    3. Para comparar adequadamente os dois, escreva o declive de PC1 da forma como o vetor próprio o define, em vez de como uma razão de decimais. O numerador é o mesmo Sxy em ambos, pelo que toda a diferença reside no denominador: Sxx para a regressão, λ1 − Syy para PC1.

    4. Desenvolva λ1. Saber se a ACP tem o menor denominador tornou-se agora uma questão sobre uma única raiz quadrada.

    5. E essa raiz quadrada é menor do que o traço precisamente quando o determinante é positivo, o que se verifica para qualquer nuvem que não seja uma reta perfeita. O denominador de PC1 é, portanto, sempre o menor, pelo que PC1 é sempre a mais inclinada das duas. Nada sobre estes seis pontos foi utilizado.

    6. Inverta os papéis e faça a regressão de x em y. Essa é uma terceira reta, e reescrever o seu declive para a mesma representação de y em função de x situa-o em 0,779650. PC1 não se altera com a inversão — a matriz de covariância é simétrica em x e y —, pelo que o argumento do passo anterior se aplica agora em sentido inverso, sendo PC1 a menos inclinada deste par.

    Resposta

    Três retas através de uma nuvem: 0,762857 < 0,769067 < 0,779650, com PC1 estritamente no meio. As duas regressões divergem em 2,2% numa nuvem que o painel classifica como 99,49% unidimensional, e divergem porque respondem a perguntas diferentes — prever y a partir de x, ou prever x a partir de y. PC1 não responde a nenhuma delas. Minimiza a distância perpendicular, pelo que reetiquetar os eixos roda a imagem e deixa a reta exatamente onde estava, e os seus resíduos são a segunda coluna de pontuações em vez de um desvio vertical. As três colapsam numa só apenas quando det C = 0, ou seja, quando os pontos são realmente colineares e já não há nada sobre o que divergir. Entre esses extremos, a ACP é a reta a utilizar quando ambas as coordenadas contêm erro de medição, e a reta errada quando se pretende genuinamente uma previsão: o declive de regressão é propositadamente menos inclinado, porque a atração no sentido horizontal é o que torna mínimo o erro quadrático de previsão.

Percurso de aprendizagem

Matrizes que movem coisas

Referências (2)

Problemas de exemplo

  • nuvem 2D correlacionada - Uma nuvem compacta com correlação positiva, r = 0,989, em que a PC1 conserva 99,49% da variância. Resumir os dados numa só dimensão perde meio ponto percentual.
  • dados 2D agrupados - Dois grupos compactos, não uma reta. Ainda assim, a PC1 indica 99,51%, tal como na nuvem correlacionada. Uma proporção elevada de variância explicada não significa que os dados sejam lineares.
  • dispersão equilibrada - A única configuração predefinida abaixo dos 85%, com 62,83%, e a única em que a PC1 e a reta de regressão discordam visivelmente: inclinação -1,00 contra -0,26.
  • influência de outlier - Quatro pontos agrupados e outro em (5,2, 4,8). Esse único ponto produz o maior valor de PC1 da ferramenta, 99,67%; a estrutura observada deve-se ao valor atípico.
  • inclinação negativa - Uma reta negativa quase perfeita: r = -0,9986 e PC1 de 99,93%, o caso mais compacto. A PCA identifica a direção, independentemente do sinal da inclinação.