Esta é uma tradução automática e o texto em inglês é o original. Ler o original
Todos os grupos nos dados apresentam uma tendência descendente. O total apresenta uma tendência ascendente.
Ninguém cometeu um erro, nada está em falta e a amostra não é demasiado pequena. Dois cálculos corretos com dados idênticos apontam em direções opostas.
Abra o Causality Sandbox e prima a sua predefinição Simpson. O painel indica uma correlação entre X e Y de 0,1702 e um declive ajustado de 0,0928. Positivo: à medida que X aumenta, Y aumenta.
Diretamente abaixo, o mesmo painel ajusta novamente os mesmos pontos após os dividir por uma terceira coluna, G. Declive em G = 0: −0,5842. Declive em G = 1: −0,6109.
Todos os grupos diminuem. O total aumenta. Nenhuma linha foi adicionada, removida, ponderada ou transformada entre esses dois cálculos — apenas agrupadas.
Como ambos podem ser verdadeiros
O mecanismo é inteiramente mecânico assim que se compreende, e nada tem a ver com o tamanho da amostra ou com a significância.
A terceira coluna desempenha duas funções ao mesmo tempo. O painel apresenta uma correlação entre X e essa variável de 0,8061, e entre Y e essa variável de 0,6884. Assim, os grupos não se sobrepõem no gráfico de dispersão: um ocupa a região de X baixo e Y baixo, e o outro a região de X elevado e Y elevado. Cada grupo é uma nuvem internamente com declive descendente, e as duas nuvens estão empilhadas ao longo de uma diagonal ascendente.
Ao traçar uma linha única através de ambas as nuvens, esta é dominada pelo desvio entre elas, porque esse desvio abrange uma amplitude muito maior do que a largura de qualquer uma das nuvens. A linha agrupada mede o desfasamento entre os grupos. As linhas intra-grupo medem a relação no interior dos mesmos. Divergem porque estão a medir coisas diferentes, e a aritmética é impecável em ambos os casos.
Isto também explica por que razão o efeito não pode ser corrigido com mais dados. Recolha dez vezes mais pontos e ambas as estimativas tornam-se mais precisas — em torno dos seus valores existentes e opostos. O paradoxo de Simpson não é ruído de amostragem. Não é um artefacto de pequenas amostras, nem uma falha da regressão. É o que acontece quando se agrega em função de uma variável relevante.
O caso que o tornou famoso
Admissões à pós-graduação em Berkeley, outono de 1973. Cerca de 44% dos candidatos do sexo masculino foram admitidos contra 35% das mulheres — uma diferença de nove pontos em mais de doze mil candidaturas, longe de ser fruto do acaso.
Bickel, Hammel e O'Connell fizeram depois a divisão, departamento a departamento. A maioria dos departamentos apresentou um pequeno viés a favor das mulheres, e a diferença agrupada não resistiu: a diferença agregada foi produzida quase inteiramente pelos departamentos a que as pessoas se candidataram. As mulheres candidataram-se em maior número a departamentos com taxas de admissão baixas para todos; os homens candidataram-se a departamentos que admitiam quase metade dos candidatos. O departamento desempenhava exatamente o papel que G desempenha na predefinição — correlacionado com a variável de entrada e com o resultado.
O que torna o estudo de Berkeley digno de leitura é o cuidado da sua conclusão. Os autores não anunciaram a ausência de viés. Salientaram que o viés se tinha deslocado: o fator que orientava os candidatos para áreas sobrelotadas e competitivas situava-se a montante das comissões de admissão, e os seus dados não o conseguiam detetar. A desagregação indicou-lhes onde não procurar, o que constitui um resultado real e modesto.
Que número deve utilizar?
Eis a parte que torna isto mais do que uma curiosidade, porque a lição óbvia — desagregar sempre — está errada.
Considere um ensaio clínico de um medicamento em que a atribuição do tratamento se correlaciona com a gravidade dos doentes: aos doentes mais graves foi administrado o novo medicamento com maior frequência. Agregado, o medicamento parece prejudicial. Dividido por gravidade, ajuda em todos os estratos. Pretende-se a divisão, porque a gravidade influenciou quem recebeu o medicamento e também influenciou o resultado. Trata-se de uma variável de confusão, e o ajustamento por ela elimina uma distorção.
Considere agora um ensaio em que o medicamento atua reduzindo a pressão arterial, e se faz a divisão pela pressão arterial medida após o tratamento. Dentro de cada estrato, o medicamento parece não ter qualquer efeito — agrupou-se pelo próprio mecanismo do medicamento. Aqui, o número agregado é o correto, e o ajustamento destrói o efeito que se tentava medir. O sandbox também tem uma predefinição para esta configuração: um colisor, uma variável para a qual ambas as entradas apontam, em que o condicionamento por ela cria uma relação que não existe.
Estes dois casos podem produzir tabelas de números idênticas. Nada no interior dos dados os distingue. A escolha entre o valor agrupado e o dividido é uma afirmação sobre qual das variáveis veio primeiro — sobre a estrutura causal — e a estrutura causal não está nas colunas. É por isso que o paradoxo é uma característica permanente dos trabalhos observacionais e não um enigma a resolver uma única vez: a estatística reduz as possibilidades, e algo fora da estatística tem de escolher.
O próprio Simpson salientou isto em 1951, num artigo mais prudente do que a sua reputação sugere. Construiu a inversão numa tabela de contingência e argumentou depois que a "interpretação sensata" depende do significado das categorias, e não da tabela. A aritmética não é ambígua. A questão é que é.
O que fazer quanto a isto
Seguem-se três hábitos, e são simples de aplicar.
Represente graficamente antes de ajustar. Um declive agrupado através de duas nuvens desviadas é visível instantaneamente num gráfico de dispersão e invisível num coeficiente de correlação. A ferramenta de regressão mostra os resíduos ao lado do ajustamento, e grupos empilhados deixam ali uma assinatura inconfundível: resíduos grandes, estruturados e agrupados, em vez de dispersos.
Escreva o que pensa ter causado o quê, antes de efetuar os cálculos. Se não souber explicar por que razão uma variável pertence ao modelo, também não poderá dizer se o ajustamento por ela corrige uma variável de confusão ou destrói um mecanismo — e será capaz de justificar qualquer uma das escolhas a posteriori, o que constitui o perigo.
Desconfie de um número de destaque único calculado através de grupos heterogéneos. Médias nacionais, métricas à escala da empresa, tendências agregadas: cada um é um declive agrupado em nuvens que podem estar a mover-se no sentido oposto. A inversão na predefinição necessitou apenas de dois grupos e de uma variável correlacionada. Os dados reais oferecem dezenas de ambos.