Esta es una traducción automática y el texto en inglés es el original. Leer el original
Todos los grupos de los datos tienden a la baja. El total tiende al alza.
Nadie se ha equivocado, no falta nada y la muestra no es demasiado pequeña. Dos cálculos correctos sobre datos idénticos apuntan en direcciones opuestas.
Abre el Causality Sandbox y selecciona su preajuste Simpson. El panel muestra una correlación entre X e Y de 0,1702 y una pendiente ajustada de 0,0928. Positiva: al aumentar X, aumenta Y.
Justo debajo, el mismo panel vuelve a ajustar los mismos puntos tras dividirlos por una tercera columna, G. Pendiente para G = 0: −0,5842. Pendiente para G = 1: −0,6109.
Todos los grupos bajan. El total sube. Entre ambos cálculos no se ha añadido, eliminado, ponderado ni transformado ninguna fila: únicamente se han agrupado.
Cómo ambas cosas pueden ser ciertas
El mecanismo es totalmente mecánico una vez que se comprende, y no tiene nada que ver con el tamaño de la muestra ni con la significación estadística.
La tercera columna cumple dos funciones a la vez. El panel muestra una correlación entre X y dicha variable de 0,8061, y entre Y y ella de 0,6884. Por tanto, los grupos no se superponen en el gráfico de dispersión: uno ocupa la región de valores bajos de X e Y, y el otro la región de valores altos de X e Y. Cada grupo es una nube de puntos con pendiente interna decreciente, y ambas nubes están apiladas a lo largo de una diagonal ascendente.
Si se traza una sola recta que atraviese ambas nubes, esta se ve dominada por el desplazamiento entre ellas, ya que dicho desplazamiento abarca un rango mucho más amplio que la anchura de cualquiera de las dos nubes. La recta agrupada mide la separación entre los grupos. Las rectas intragrupo miden la relación dentro de cada uno de ellos. No coinciden porque miden cosas distintas, y el cálculo aritmético es impecable en ambos casos.
Esto explica también por qué el efecto no se soluciona aumentando la cantidad de datos. Si se recogen diez veces más puntos, ambas estimaciones se vuelven más precisas, pero en torno a sus valores opuestos actuales. La paradoja de Simpson no es ruido muestral. No es un artefacto propio de muestras pequeñas ni un fallo de la regresión. Es lo que ocurre al agregar los datos respecto a una variable relevante.
El caso que la hizo famosa
Las admisiones de posgrado en Berkeley, otoño de 1973. Cerca del 44 % de los candidatos masculinos fueron admitidos, frente al 35 % de las mujeres: una diferencia de nueve puntos a lo largo de más de doce mil solicitudes, un margen demasiado grande para atribuirse al azar.
Bickel, Hammel y O'Connell realizaron entonces el desglose departamento por departamento. La mayoría de los departamentos mostraron un ligero sesgo a favor de las mujeres, y la brecha agregada desapareció: la diferencia global se debía casi por completo a los departamentos a los que se presentaban las solicitudes. Las mujeres solicitaron admisión en mayor medida en departamentos con tasas de admisión bajas para todo el mundo; los hombres, en departamentos que admitían a casi la mitad de los aspirantes. El departamento desempeñaba exactamente el mismo papel que G en el preajuste: estaba correlacionado tanto con la variable de entrada como con el resultado.
Lo que hace que valga la pena leer el estudio de Berkeley es la cautela de su conclusión. Los autores no anunciaron que no hubiera sesgo. Señalaron que el sesgo se había desplazado: lo que estuviera orientando a los aspirantes hacia campos saturados y competitivos se situaba aguas arriba de los comités de admisión, y sus datos no lo podían detectar. Desagregar les indicó dónde no debían buscar, lo cual es un resultado real y modesto.
¿Qué cifra se debe utilizar?
Aquí radica el aspecto que convierte esto en algo más que una simple curiosidad, ya que la lección evidente —desagregar siempre— es errónea.
Consideremos un ensayo clínico de un fármaco en el que la asignación del tratamiento se correlaciona con la gravedad del paciente: a los enfermos más graves se les administró el nuevo fármaco con mayor frecuencia. De forma agrupada, el fármaco parece perjudicial. Desglosado por gravedad, resulta beneficioso en todos los estratos. En este caso interesa el desglose, porque la gravedad influyó en quién recibió el fármaco y también en el resultado final. Se trata de un factor de confusión, y ajustar por él elimina la distorsión.
Consideremos ahora un ensayo en el que el fármaco actúa reduciendo la presión arterial y se realiza la división según la presión arterial medida tras el tratamiento. En cada estrato, el fármaco parece no hacer nada: se ha agrupado en función de su propio mecanismo. Aquí la cifra agrupada es la correcta, y ajustar destruye el efecto que se intentaba medir. El entorno de pruebas también dispone de un preajuste para este esquema: un colisionador, una variable hacia la que apuntan ambas entradas, donde condicionar por ella genera de forma artificial una relación inexistente.
Estos dos casos pueden generar tablas de datos idénticas. Nada en el interior de los datos permite distinguirlos. La elección entre el resultado agrupado y el desglosado equivale a afirmar qué variable precedió a la otra —es decir, sobre la estructura causal—, y la estructura causal no figura en las columnas. Por esta razón, la paradoja es un rasgo permanente de los estudios observacionales y no un enigma que se resuelve de una vez por todas: la estadística reduce las posibilidades, pero la elección final debe basarse en un criterio ajeno a ella.
El propio Simpson señaló este aspecto en 1951, en un artículo más prudente de lo que sugiere su fama. Construyó la inversión de los datos en una tabla de contingencia y argumentó que la «interpretación sensata» depende del significado de las categorías y no de la tabla. La aritmética no es ambigua; la pregunta sí lo es.
Qué hacer al respecto
A continuación se proponen tres hábitos sencillos de aplicar.
Representa los datos antes de ajustar. Una pendiente agrupada que atraviesa dos nubes desplazadas se observa al instante en un gráfico de dispersión, pero resulta invisible en un coeficiente de correlación. La herramienta de regresión muestra los residuos junto al ajuste, y los grupos apilados dejan allí una marca inequívoca: residuos grandes, estructurados y agrupados en lugar de dispersos.
Escribe qué crees que causó qué antes de calcular. Si no puedes justificar por qué una variable forma parte del modelo, tampoco podrás determinar si ajustar por ella corrige un factor de confusión o destruye un mecanismo; y podrás justificar cualquiera de las dos elecciones a posteriori, lo cual constituye el verdadero peligro.
Desconfía de una cifra titular única calculada sobre grupos heterogéneos. Los promedios nacionales, las métricas globales de una empresa o las tendencias agregadas: cada uno de ellos es una pendiente agrupada a través de nubes que podrían estar desplazándose en sentido contrario. La inversión reflejada en el preajuste requirió únicamente dos grupos y una variable correlacionada. Los datos reales ofrecen decenas de ambos.