Esta es una traducción automática y el texto en inglés es el original. Leer el original
Cada grupo de los datos tiende a la baja. El total tiende al alza.
Nadie ha cometido un error, no falta nada y la muestra no es demasiado pequeña. Dos cálculos correctos sobre datos idénticos apuntan en direcciones opuestas.
Abre el Causality Sandbox y pulsa su preajuste Simpson. El panel indica una correlación entre X e Y de 0,1702 y una pendiente ajustada de 0,0928. Positiva: a medida que X aumenta, Y aumenta.
Justo debajo, el mismo panel vuelve a ajustar los mismos puntos tras dividirlos según una tercera columna, G. Pendiente en G = 0: −0,5842. Pendiente en G = 1: −0,6109.
Cada grupo desciende. El total asciende. No se añadieron, eliminaron, ponderaron ni transformaron filas entre esos dos cálculos; únicamente se agruparon.
Cómo ambas cosas pueden ser ciertas
Nada de esto depende del tamaño de la muestra ni de la significación estadística.
La tercera columna cumple dos funciones a la vez. El panel muestra una correlación entre X y esa variable de 0,8061, y entre Y y ella de 0,6884. Por tanto, los grupos no quedan superpuestos en el gráfico de dispersión: uno ocupa la región de valores bajos de X y de Y, y el otro la región de valores altos de X y de Y. Cada grupo es una nube internamente descendente, y las dos nubes están dispuestas a lo largo de una diagonal ascendente.
Si se traza una sola recta a través de ambas nubes, el desplazamiento entre ellas predomina, porque dicho desplazamiento abarca un rango mucho más amplio que la anchura de cualquiera de las dos nubes. La recta combinada mide la distancia entre los grupos. Las rectas intragrupo miden la relación dentro de ellos. Discrepan porque miden cosas distintas, y la aritmética es impecable en ambos casos.
Esto también explica por qué el efecto no puede corregirse con más datos. Si se reúne diez veces más puntos, ambas estimaciones se vuelven más precisas, en torno a sus valores opuestos actuales. La paradoja de Simpson no es ruido muestral ni un fallo de la regresión. Es lo que ocurre cuando se agrega sobre una variable relevante.
El caso que la hizo famosa
Las admisiones de posgrado de Berkeley, otoño de 1973. Alrededor del 44% de los solicitantes masculinos fueron admitidos frente al 35% de las mujeres, una diferencia de nueve puntos en más de doce mil solicitudes, demasiado grande para deberse al azar.
Bickel, Hammel y O'Connell realizaron entonces la división, departamento por departamento. Pocos departamentos se desviaron significativamente de lo esperado en uno u otro sentido, y aproximadamente la misma cantidad parecía favorecer a las mujeres que a los hombres; lo que pervivió tras una agregación adecuada fue un pequeño sesgo a favor de las mujeres. La diferencia de nueve puntos se debió casi por completo a los departamentos a los que la gente solicitó plaza. Las mujeres solicitaron plaza en mayor número en departamentos con tasas de admisión bajas para todo el mundo; los hombres lo hicieron en departamentos que admitían a casi la mitad de los aspirantes. El departamento desempeñaba exactamente el papel que cumple G en el preajuste, correlacionado tanto con la entrada como con el resultado.
Lo que hace que el estudio de Berkeley merezca ser leído es la cautela de su conclusión. Los autores no anunciaron que no hubiera sesgo. Señalaron que el sesgo se había desplazado: lo que estuviera orientando a los solicitantes hacia áreas saturadas y competitivas se situaba en una etapa previa a los comités de admisión, y sus datos no permitían observarlo. Desagregar les indicó dónde no mirar, lo cual es un resultado real y a la vez modesto.
¿Qué número se debe utilizar?
La lección obvia —desagregar siempre— es errónea.
Consideremos un ensayo clínico en el que la asignación del tratamiento está correlacionada con la gravedad del paciente: a los enfermos más graves se les administró el nuevo fármaco con mayor frecuencia. Si se combinan los datos, el fármaco parece perjudicial. Si se dividen por gravedad, resulta beneficioso en todos los estratos. Lo que interesa es la división, porque la gravedad influyó en quién recibía el fármaco y también en el resultado. Es una variable de confusión, y ajustar por ella elimina una distorsión.
Consideremos ahora un ensayo en el que el fármaco actúa reduciendo la presión arterial, y se divide según la presión arterial medida tras el tratamiento. Dentro de cada estrato, el fármaco parece no hacer nada: se ha agrupado según su propio mecanismo. Aquí la cifra combinada es la correcta, y ajustar destruye el efecto que se intentaba medir. La presión arterial actúa aquí como mediador, y el sandbox incluye un preajuste para su reflejo: un colisionador, una variable hacia la que apuntan tanto X como Y. Si se agrupa por un mediador, se borra un efecto real; si se agrupa por un colisionador, se fabrica uno que nunca existió.
Estos dos casos pueden generar tablas de números idénticas. Nada dentro de los datos permite distinguirlos. La elección entre combinar o dividir supone afirmar qué variable fue primero —una afirmación sobre la estructura causal—, y la estructura causal no está en las columnas. Por este motivo, la paradoja es un rasgo permanente de los estudios observacionales y no un problema que se resuelva de una vez por todas: la estadística acota las posibilidades, y algo ajeno a la estadística debe decidir.
El propio Simpson señaló esto en 1951, en un artículo más prudente de lo que sugiere su fama. Construyó la inversión en una tabla de contingencia y sostuvo a continuación que la "interpretación sensata" depende del significado de las categorías, no de la tabla. La aritmética no es ambigua. La pregunta sí lo es.
Qué hacer al respecto
De ello se derivan tres hábitos, y aplicarlos apenas cuesta nada.
Representa los datos antes de ajustar. Una pendiente combinada a través de dos nubes desplazadas resulta visible de inmediato en un gráfico de dispersión e invisible en un coeficiente de correlación. La regression tool muestra los residuos junto con el ajuste, y los grupos apilados dejan allí una marca inequívoca: residuos grandes, estructurados y agrupados en lugar de dispersos.
Anota qué crees que causó qué antes de calcular. Si no puedes explicar por qué una variable pertenece al modelo, tampoco puedes saber si ajustar por ella neutraliza una variable de confusión o destruye un mecanismo; y podrás justificar cualquiera de las dos decisiones a posteriori, que es donde reside el peligro.
Desconfía de una única cifra destacada calculada a partir de grupos heterogéneos. Medias nacionales, métricas globales de empresa, tendencias agregadas: cada una de ellas es una pendiente combinada entre nubes que pueden estar desplazándose en sentido opuesto. La inversión en el preajuste requirió únicamente dos grupos y una variable correlacionada. Los datos reales ofrecen decenas de ambos.