Esta é uma tradução automática; o texto original em inglês constitui a versão de referência. Ler o original
Todos os grupos nos dados apresentam uma tendência descendente. O total apresenta uma tendência ascendente.
Ninguém cometeu qualquer erro, não falta nada e a amostra não é demasiado pequena. Dois cálculos corretos sobre dados idênticos apontam em direções opostas.
Abra o Causality Sandbox e selecione a predefinição Simpson. O painel indica uma correlação entre X e Y de 0,1702 e um declive ajustado de 0,0928. Positivo: à medida que X aumenta, Y aumenta.
Diretamente por baixo, o mesmo painel ajusta novamente os mesmos pontos após dividi-los por uma terceira coluna, G. Declive com G = 0: −0,5842. Declive com G = 1: −0,6109.
Cada grupo desce. O total sobe. Nenhuma linha foi adicionada, removida, ponderada ou transformada entre esses dois cálculos: foram apenas agrupadas.
Como ambos podem ser verdadeiros
Nada disto depende da dimensão da amostra ou da significância estatística.
A terceira coluna desempenha duas funções em simultâneo. O painel apresenta uma correlação entre X e essa variável de 0,8061, e entre Y e a mesma de 0,6884. Assim, os grupos não se sobrepõem na dispersão: um ocupa a região de valores baixos de X e Y, e o outro a região de valores altos de X e Y. Cada grupo forma internamente uma nuvem de declive descendente, e as duas nuvens estão dispostas ao longo de uma diagonal ascendente.
Se traçar uma única reta através de ambas as nuvens, esta será dominada pelo desfasamento entre elas, uma vez que esse desfasamento abrange um intervalo muito mais amplo do que a largura de qualquer uma das nuvens. A reta agregada mede a distância entre os grupos. As retas intra-grupo medem a relação dentro de cada grupo. Elas divergem porque medem grandezas diferentes, e a aritmética é irrepreensível em ambos os casos.
Isto explica igualmente por que razão o efeito não pode ser corrigido com mais dados. Recolha dez vezes mais pontos e ambas as estimativas tornar-se-ão mais precisas — em torno dos seus valores opostos já existentes. O paradoxo de Simpson não é ruído de amostragem, nem uma falha da regressão. É o que acontece quando se agrega sobre uma variável relevante.
O caso que o tornou célebre
As admissões à pós-graduação em Berkeley, no outono de 1973. Cerca de 44% dos candidatos masculinos foram admitidos contra 35% das mulheres, uma diferença de nove pontos percentuais em mais de doze mil candidaturas — demasiado ampla para ser obra do acaso.
Bickel, Hammel e O'Connell procederam então à desagregação, departamento a departamento. Poucos departamentos se desviaram significativamente do valor esperado em qualquer uma das direções, e quase tantos pareceram favorecer mulheres como homens; o que subsistiu após uma agregação adequada foi um ligeiro enviesamento a favor das mulheres. A diferença de nove pontos percentuais decorreu quase inteiramente dos departamentos aos quais as pessoas se candidataram. As mulheres candidataram-se em maior número a departamentos com taxas de admissão baixas para todos os candidatos; os homens candidataram-se a departamentos que admitiam quase metade de todos os candidatos. O departamento desempenhava com exatidão o papel que G assume na predefinição: correlacionado com a variável de entrada e com o resultado.
O que torna o estudo de Berkeley digno de leitura é o rigor da sua conclusão. Os autores não declararam a inexistência de discriminação. Assinalaram que a discriminação tinha mudado de lugar: o fator que orientava as candidaturas para áreas saturadas e concorridas situava-se a montante dos comités de admissão, e os dados disponíveis não permitiam observá-lo. A desagregação indicou-lhes onde não procurar, o que constitui um resultado real e simultaneamente moderado.
Que valor deve utilizar?
A lição óbvia — desagregar sempre — está errada.
Considere um ensaio clínico de um fármaco em que a atribuição do tratamento está correlacionada com a gravidade do estado do doente: os doentes mais graves receberam o novo fármaco com maior frequência. De forma agregada, o fármaco parece prejudicial. Dividido por nível de gravidade, revela-se benéfico em todos os estratos. Pretende-se a divisão porque a gravidade influenciou quem recebeu o fármaco e influenciou também o desfecho clínico. Trata-se de uma variável de confusão, e o respetivo ajuste elimina uma distorção.
Considere agora um ensaio em que o fármaco atua através da redução da pressão arterial, e procede-se à divisão pela pressão arterial medida após o tratamento. Dentro de cada estrato, o fármaco parece não ter qualquer efeito: procedeu-se a um agrupamento pelo seu próprio mecanismo de ação. Neste caso, o valor agregado é o correto, e o ajuste anula o efeito que se pretendia medir. A pressão arterial surge aqui como uma variável mediadora, e o simulador disponibiliza uma predefinição para a sua imagem em espelho: um colisor, uma variável para a qual tanto X como Y apontam. Agrupar por uma variável mediadora suprime um efeito que é real; agrupar por um colisor produz artificialmente um efeito que nunca existiu.
Estes dois casos podem gerar tabelas numéricas idênticas. Nada no interior dos dados permite distingui-los. A opção entre agregar e desagregar assenta numa premissa sobre qual das variáveis precedeu a outra — sobre a estrutura causal —, e a estrutura causal não reside nas colunas. É por esta razão que o paradoxo constitui uma característica permanente da investigação observacional e não um enigma que se resolva de uma vez por todas: a estatística delimita as possibilidades, mas a decisão final depende de critérios exteriores à própria estatística.
O próprio Simpson salientou este aspeto em 1951, num artigo mais prudente do que a sua reputação sugere. Demonstrou a inversão numa tabela de contingência e sustentou de seguida que a «interpretação sensata» depende do significado das categorias, e não da tabela. A aritmética não é ambígua. A questão colocada é que o é.
Como proceder
Daqui decorrem três hábitos, simples de adotar.
Represente graficamente antes de ajustar o modelo. Um declive agregado através de duas nuvens desfasadas torna-se imediatamente visível num gráfico de dispersão e permanece invisível num coeficiente de correlação. A ferramenta de regressão apresenta os resíduos a par do ajustamento, e grupos sobrepostos deixam aí uma marca inequívoca: resíduos de magnitude elevada, estruturados e agrupados, em vez de dispersos ao acaso.
Descreva por escrito as relações de causalidade pressupostas, antes de efetuar os cálculos. Se não souber justificar a inclusão de uma variável no modelo, tão-pouco conseguirá determinar se o ajuste corrige uma variável de confusão ou se destrói um mecanismo — sendo que será sempre possível justificar qualquer uma das opções à posteriori, residindo aí o verdadeiro perigo.
Desconfie de um número de síntese único calculado sobre grupos heterogéneos. Médias nacionais, métricas globais de uma empresa, tendências agregadas: cada um destes valores traduz um declive agregado sobre nuvens que podem estar a evoluir em sentido inverso. A inversão observada na predefinição necessitou apenas de dois grupos e de uma variável correlacionada. Os dados reais apresentam dezenas de ambos.