Dispersão e desvio

The centre is one number; spread says how far the data live from it.

A carregar a simulação interativa...

Um ajuste custa um grau de liberdade 🖖

A média amostral é o único número capaz de tornar a soma dos desvios ao quadrado a menor possível. Portanto, uma amostra medida em torno da sua própria média resulta sempre num total inferior ao da mesma amostra medida em torno da média populacional invisível, e a divisão por n herda essa subestimativa. No experimento acima, amostras de cinco elementos deixam o divisor n cerca de um quinto mais baixo, e o resultado sai inferior a cada nova amostragem em vez de apenas na média. Dividir por n − 1 é o fator que compensa essa diferença.

Desvio padrão não é distância média 🖖

Elevar os desvios ao quadrado, calcular a média e depois extrair a raiz não é o mesmo que fazer a média das distâncias, pois a elevação ao quadrado faz com que um valor ao dobro da distância da média conte quatro vezes mais. A diferença flui sempre no mesmo sentido. O desvio padrão nunca é menor do que o desvio absoluto médio para uma lista de números qualquer, e os dois só são iguais quando todos os valores estão perfeitamente à mesma distância da média. As notas da turma indicam 2,55 e 2,00; a predefinição com um valor atípico, que carrega o divisor amostral, marca 5,15 e 3,13.

O IQR ignora de propósito os extremos 🖖

A amplitude interquartil descarta o quarto inferior e o quarto superior dos dados antes de medir qualquer coisa, o que é exatamente o que a mantém inalterável perante um valor extremo. Contudo, isso também a torna insensível. O agrupamento concentrado e a predefinição de um valor atípico nesta página reportam ambos uma AIQ de 2,00, enquanto os seus desvios padrão são 1,22 e 5,15. Isoladamente, uma AIQ nada diz sobre o verdadeiro alcance dos dados.

Problema resolvido na íntegra

  1. O valor atípico evidente que uma regra de três sigmas não consegue assinalar 9 passos

    A predefinição one outlier contém sete valores entre 4 e 7 e um em 20. Calcule a pontuação z desse último a partir do desvio padrão amostral e decida depois se uma regra que assinala tudo o que passe de três desvios padrão alguma vez o teria apanhado.

    1. Some os oito valores e reparta-os: 60 por 8 dá 7,50. Sete dos oito ficam abaixo desse valor, pelo que o único valor elevado já está a deslocar o centro antes sequer de tocar na dispersão.

    2. Subtraia 7,50 a cada um. Os sete valores agrupados ficam a distâncias entre 0,5 e 3,5; o oitavo fica a 12,5. O painel apresenta essa coluna, e ela soma zero, como acontece com qualquer coluna de desvios.

    3. Ao elevar ao quadrado, o total desequilibra-se. Os sete juntos contribuem com 29,75, e o valor em 20 contribui sozinho com 156,25, mais de cinco vezes todo o resto da amostra. É o quadrado a fazer aquilo para que ali está.

    4. Esta predefinição carrega o modo amostral, pelo que o divisor é 7 e não 8. O painel mostra a fração além do resultado: 186,00 sobre 7 dá uma variância de 26,57 e um desvio padrão de 5,15. Leve a divisão mais uma casa e s é 5,1547, que é o que o passo seguinte precisa.

    5. Uma pontuação z conta desvios padrão a contar da média, portanto aqui é 12,5 sobre 5,1547, ou seja, 2,4249. O valor mais notório do conjunto não chega a três, e nem sequer anda perto.

    6. Pergunte agora se isso é um facto sobre esta lista ou sobre oito números em geral. Uma coisa decide: os desvios somam zero, pelo que, sejam quais forem os outros sete, somam exatamente o simétrico do oitavo.

    7. Números com soma fixa atingem a menor soma de quadrados possível quando são todos iguais. Logo, os sete desvios restantes não podem ser todos pequenos: o mais económico que conseguem fazer é repartir a carga por igual, e isso coloca um piso na soma dos quadrados.

    8. Um piso na soma dos quadrados é um piso em s, e um piso em s é um teto para z. Nenhum valor de uma lista de n pode ficar a mais de (n − 1)/√n desvios padrão amostrais da média. Com n = 8, esse teto é 2,4749. Suba o 20 para 100 e o painel dá um desvio de 82,50 contra um desvio padrão de 33,35, logo z é 2,474. Suba-o para um milhão e z chega a 2,4749 à quarta casa, e aí fica.

    9. O teto depende de n e de mais nada, e ultrapassa 3 pela primeira vez com onze valores: dez chegam a 2,846, onze chegam a 3,015. Aqui a lista aceita doze, pelo que o caso extremo está ao alcance. Escreva dez zeros e um 1000, ainda em modo amostral. O painel dá uma média de 90,91 e um desvio padrão de 301,51, e o maior desvio, 909,09, dividido por 301,51 dá 3,015, que é o próprio teto.

    Resposta

    z = 2,42, e nenhuma regra de três sigmas o poderia ter assinalado, porque oito números não conseguem produzir um z de 3 por mais extremo que um deles seja.

    Mais do que errada, a regra é aqui inutilizável, e é isso que vale a pena levar daqui: um limiar escrito em desvios padrão fala do tamanho da amostra tanto quanto do valor, porque o valor em exame está dentro do desvio padrão com que é medido. Três desvios padrão precisam de pelo menos 11 observações para sequer serem alcançáveis, quatro precisam de 18, e abaixo desses tamanhos uma amostra contaminada parece ao teste exatamente igual a uma amostra limpa. Algo que funciona mesmo com oito números já está nesta página. A barreira de Tukey coloca a fronteira em Q3 + 1,5 × IQR; o painel dá Q3 = 7,00 e IQR = 2,00, pelo que a barreira fica em 10 e o valor 20 sai dela com folga. Os quartis são posições na lista ordenada e não médias dela, e é por isso que o ponto que está a ser julgado não pode deslocar a régua.

Percurso de aprendizagem

Um número para muitos: estatísticas de resumo

Problemas de exemplo

  • classroom scores - Oito avaliações de 4 a 13. Leia a coluna do meio de cima para baixo e os desvios anulam-se em zero, sendo por isso que a terceira coluna os eleva primeiro ao quadrado. Esses quadrados somam 52,00 e, para n = 8, isso representa uma variância de 6,50, um desvio padrão de 2,55 e um desvio absoluto médio de 2,00.
  • tight cluster - Oito leituras entre 48,00 e 52,00. A dispersão ignora a grandeza dos números, interessando-se apenas pela distância que os separa: os desvios ao quadrado totalizam 12,00 e o desvio padrão é de 1,22, contra um desvio absoluto médio de 1,00. Carregue o conjunto do valor atípico de seguida e veja essa dupla separar-se.
  • one outlier - Sete valores juntam-se entre 4 e 7, havendo um isolado em 20. Esse único ponto fornece 156,25 do total de 186,00 na coluna dos quadrados, pelo que o desvio padrão sobe aos 5,15 enquanto o desvio absoluto médio fica pelos 3,13. A amplitude interquartil nem dá por ele: Q1 e Q3 valem 5,00 e 7,00, logo a AIQ mantém-se em 2,00 por muito longe que vá esse último valor. Esta é a única predefinição que carrega o divisor da amostra.