Ce document est une traduction automatique ; la version originale en anglais fait foi. Lire l'original
Chaque groupe dans les données tend à la baisse. Le total tend à la hausse.
Personne n'a commis d'erreur, il ne manque rien, et l'échantillon n'est pas trop petit. Deux calculs exacts sur des données identiques pointent dans des directions opposées.
Ouvrez le Causality Sandbox et cliquez sur son préréglage Simpson. Le panneau indique une corrélation entre X et Y de 0,1702 et une pente ajustée de 0,0928. Elle est positive : lorsque X augmente, Y augmente.
Juste en dessous, le même panneau ajuste à nouveau les mêmes points après les avoir séparés selon une troisième colonne, G. Pente pour G = 0 : −0,5842. Pente pour G = 1 : −0,6109.
Chaque groupe baisse. Le total monte. Aucune ligne n'a été ajoutée, supprimée, pondérée ou transformée entre ces deux calculs, seulement regroupée.
Comment les deux peuvent être vrais
Rien de tout cela ne dépend de la taille de l'échantillon ni de la significativité statistique.
La troisième colonne remplit deux rôles à la fois. Le panneau affiche une corrélation entre X et cette variable de 0,8061, et entre Y et celle-ci de 0,6884. Les groupes ne se superposent donc pas dans le nuage de points : l'un occupe la région où X et Y sont faibles, l'autre la région où X et Y sont élevés. Chaque groupe forme un nuage dont la pente interne est descendante, et les deux nuages sont empilés le long d'une diagonale ascendante.
Tracez une droite unique à travers les deux nuages et elle sera dominée par le décalage entre eux, car ce décalage s'étend sur un intervalle bien plus large que la dispersion de chaque nuage. La droite globale mesure l'écart entre les groupes. Les droites intragroupes mesurent la relation en leur sein. Elles divergent parce qu'elles mesurent des choses différentes, et l'arithmétique est irréprochable dans les deux cas.
Cela explique aussi pourquoi le problème ne peut pas être résolu en ajoutant des données. Collectez dix fois plus de points et les deux estimations deviendront plus resserrées — autour de leurs valeurs opposées actuelles. Le paradoxe de Simpson n'est pas un bruit d'échantillonnage, et ce n'est pas une défaillance de la régression. C'est ce qui se produit lorsqu'on agrège des données en ignorant une variable déterminante.
Le cas qui l'a rendu célèbre
Les admissions aux cycles supérieurs à Berkeley, à l'automne 1973. Environ 44 % des candidats masculins ont été admis contre 35 % des femmes, soit un écart de neuf points sur plus de douze mille candidatures, bien trop grand pour être dû au hasard.
Bickel, Hammel et O'Connell ont alors ventilé les données, département par département. Rares étaient les départements s'écartant de manière significative des attentes dans un sens ou dans l'autre, et il y en avait à peu près autant qui semblaient favoriser les femmes que les hommes ; ce qui subsistait après une agrégation correcte était un léger biais en faveur des femmes. L'écart de neuf points découlait presque exclusivement du choix des départements auxquels les candidats postulaient. Les femmes postulaient en plus grand nombre dans des départements aux taux d'admission faibles pour tous ; les hommes postulaient dans des départements admettant près de la moitié des candidats. Le département jouait exactement le rôle que joue G dans le préréglage : corrélé avec la variable d'entrée et avec le résultat.
Ce qui rend l'étude de Berkeley digne d'intérêt, c'est la prudence de sa conclusion. Les auteurs n'ont pas affirmé qu'il n'y avait aucun biais. Ils ont souligné que le biais s'était déplacé : ce qui orientait les candidats vers des filières encombrées et sélectives se situait en amont des commissions d'admission, et leurs données ne permettaient pas de l'observer. La désagrégation leur a indiqué où ne pas chercher, ce qui constitue un résultat bien réel et mesuré.
Quel nombre devriez-vous utiliser ?
La leçon évidente — toujours désagréger — est fausse.
Considérons un essai clinique où l'attribution du traitement est corrélée à la gravité de l'état des patients : le nouveau médicament a été administré plus souvent aux patients les plus malades. De manière globale, le médicament semble néfaste. Ventilé selon la gravité, il est bénéfique dans chaque strate. C'est cette ventilation que l'on recherche, car la gravité influençait à la fois l'attribution du médicament et son issue. Il s'agit d'une variable de confusion, et l'ajustement sur cette variable élimine la distorsion.
Considérons maintenant un essai où le médicament agit en faisant baisser la tension artérielle, et où l'on ventile selon la tension artérielle mesurée après le traitement. Au sein de chaque strate, le médicament semble n'avoir aucun effet : vous avez regroupé les données selon son propre mécanisme d'action. Ici, la valeur globale est la bonne, et l'ajustement détruit l'effet que vous cherchiez à mesurer. La tension artérielle est ici un médiateur, et le bac à sable propose un préréglage pour son image en miroir : un collisionneur, c'est-à-dire une variable vers laquelle pointent à la fois X et Y. Regroupez selon un médiateur et vous effacerez un effet réel ; regroupez selon un collisionneur et vous en fabriquerez un de toutes pièces.
Ces deux cas peuvent produire des tableaux de nombres identiques. Rien au sein des données ne permet de les distinguer. Le choix entre agréger ou ventiler repose sur l'hypothèse de l'ordre d'apparition des variables — c'est-à-dire sur la structure causale —, et la structure causale ne se trouve pas dans les colonnes. C'est pourquoi ce paradoxe est une constante des études observationnelles plutôt qu'une énigme à résoudre une fois pour toutes : la statistique réduit l'éventail des possibles, et c'est à un élément extérieur à la statistique de trancher.
Simpson lui-même l'a fait remarquer en 1951, dans un article plus prudent que sa réputation ne le laisse penser. Il a mis en évidence cette inversion dans un tableau de contingence, puis a soutenu que « l'interprétation raisonnable » dépend du sens des catégories, et non du tableau. L'arithmétique n'est pas ambiguë. C'est la question posée qui l'est.
Ce qu'il convient de faire
Trois habitudes en découlent, et elles ne coûtent rien.
Représentez graphiquement avant d'ajuster. Une pente globale à travers deux nuages décalés saute aux yeux sur un graphique de dispersion et reste invisible dans un coefficient de corrélation. L'outil de régression affiche les résidus aux côtés de la droite d'ajustement, et des groupes empilés y laissent une signature sans équivoque : des résidus importants, structurés et regroupés plutôt que dispersés.
Notez par écrit ce qui, selon vous, cause quoi, avant de calculer. Si vous ne pouvez pas expliquer pourquoi une variable a sa place dans le modèle, vous ne pouvez pas non plus savoir si l'ajustement sur celle-ci neutralise un facteur de confusion ou détruit un mécanisme — et vous serez capable de justifier l'un ou l'autre choix a posteriori, ce qui constitue précisément le danger.
Méfiez-vous d'un chiffre récapitulatif unique calculé sur des groupes hétérogènes. Moyennes nationales, indicateurs à l'échelle d'une entreprise, tendances globales : chacun correspond à une pente agrégée à travers des nuages qui peuvent très bien évoluer en sens inverse. L'inversion observée dans le préréglage ne nécessitait que deux groupes et une seule variable corrélée. Les données réelles en comptent des dizaines de chaque.