この記事は機械翻訳されたものであり、英語の原文が正式な文書です。 原文を読む
データのすべてのグループが下降傾向を示している。全体としては上昇傾向を示している。
誰も誤りを犯しておらず、欠落しているものもなく、標本サイズが小さすぎるわけでもありません。同一のデータに対する2つの正しい計算が、正反対の方向を指し示しています。
Causality Sandboxを開き、Simpsonプリセットを押してください。パネルには、XとYの相関が0.1702、あてはめた直線の傾きが0.0928と表示されます。正の値です。つまり、Xが増加するとYも増加します。
そのすぐ下で、同じパネルが同じデータ点を第3の列Gによって分割したうえで、再び直線をあてはめます。G = 0のグループ内の傾きは−0.5842。G = 1のグループ内の傾きは−0.6109です。
どのグループも減少しています。全体は増加しています。これら2つの計算の間で、行の追加、削除、重み付け、変換は一切行われておらず、グループ分けされただけです。
なぜ両方が成り立ちうるのか
標本サイズや統計的有意性は、この現象に一切関係していません。
第3の列が、同時に2つの役割を果たしています。パネルには、Xとその変数との相関が0.8061、Yとその変数との相関が0.6884と表示されます。したがって、散布図上でグループ同士が重なり合うことはありません。一方はXが小さくYが小さい領域を占め、もう一方はXが大きくYが大きい領域を占めます。それぞれのグループは内部で右下がりの点の集まり（クラウド）を形成しており、その2つのクラウドが右上がりの対角線に沿って並んでいるのです。
両方のクラウドを通る1本の直線を引くと、それは両者のずれ（オフセット）に支配されます。そのずれがまたがる範囲は、どちらのクラウド自体の幅よりもはるかに広いからです。合算した直線はグループ間の隔たりを測っています。グループ内の直線はグループ内部の関係を測っています。両者が食い違うのは異なる対象を測定しているからであり、どちらの計算も算術的には完璧です。
このことは、データを増やしてもこの効果を解消できない理由も説明しています。10倍のデータ点を集めたとしても、両方の推定値は既存の正反対の値の周辺でばらつきが小さくなるだけです。シンプソンのパラドックスは標本誤差のノイズではなく、回帰分析の失敗でもありません。重要な変数を無視して集計したときに起こる必然的な現象なのです。
この現象を有名にした事例
1973年秋のカリフォルニア大学バークレー校の大学院入試です。男性志願者の合格率が約44%だったのに対し、女性は35%であり、12,000件以上の出願全体で9ポイントの差が生じていました。偶然とは到底考えられない大きさです。
そこでビッケル、ハンメル、オコンネルは、専攻学部ごとにデータを分割しました。どちらの方向にも期待値から有意に乖離している学部はほとんどなく、女性に有利に見える学部と男性に有利に見える学部の数はほぼ同数でした。適切に合算した結果として残ったのは、わずかな女性優位の偏りでした。9ポイントの格差は、人々がどの学部に出願したかによってほぼ完全に生み出されていたのです。女性は全体の合格率が低い学部により多く出願し、男性は志願者の半数近くを合格させる学部に出願していました。学部という変数は、プリセットにおけるGとまったく同じ役割を果たしており、入力（性別）とも結果（合否）とも相関していたのです。
バークレー校の研究を読む価値があるのは、その結論の慎重さゆえです。著者らは偏りが存在しなかったと宣言したわけではありません。偏りの位置が移動したのだと指摘しました。志願者を倍率の高い激戦分野へと向かわせた要因は入試選考委員会よりも上流に存在しており、彼らのデータからはそれを読み取ることができなかったのです。データを細分化（集計解除）したことで「どこを見るべきではないか」が明らかになりました。これは実質的でありながら、謙虚な成果です。
どちらの数値を用いるべきか
「常に細分化して分析すべきだ」という安易な教訓は誤りです。
治療の割り当てが患者の重症度と相関している治験を考えてみましょう。より重症の患者に新薬が多く投与されたとします。データを合算すると、その薬は有害であるように見えます。しかし重症度別に層別化すると、すべての層において薬が有効であることがわかります。この場合、分割した数値が必要です。なぜなら重症度は誰が薬を投与されるかに影響を与え、かつ治療結果にも影響を与えたからです。重症度は交絡因子であり、それを調整することで歪みが取り除かれます。
では次に、血圧を下げることで効果を発揮する薬の治験において、投与後に測定された血圧で分割する場合を考えてみてください。各層の中では、薬は何も効果をもたらしていないように見えます。薬自体の作用機序によってグループ分けしてしまったからです。この場合は合算した数値こそが正しく、調整を行うと測定しようとしていた効果そのものが破壊されてしまいます。ここでの血圧は媒介変数です。なお、このサンドボックスにはその鏡像となるプリセットも用意されています。それが合流点（コライダー）、すなわちXとYの両方から矢印が向かう変数です。媒介変数でグループ分けすると実在する効果を消し去ってしまい、合流点でグループ分けすると存在しない効果を捏造してしまうことになります。
これら2つの事例は、まったく同一の数値の表を生み出すことがあります。データ内部の数値だけでは両者を区別できません。合算値を選ぶか分割値を選ぶかという選択は、どの変数が先行したかという主張、すなわち因果構造に関する主張であり、因果構造はデータの列の中には書かれていません。だからこそ、このパラドックスは一度解けば済むパズルではなく、観察研究において常に付きまとう本質的な課題なのです。統計学は可能性の範囲を絞り込むだけであり、何を選択すべきかは統計学の外側にある知識が決める必要があります。
シンプソン自身も1951年に、その評判よりもはるかに慎重な論文の中でこの点を指摘しています。彼は分割表において逆転現象を構成したうえで、「分別ある解釈」は表そのものではなくカテゴリの意味に依存すると論じました。算術に曖昧さはありません。曖昧なのは問いの立て方です。
どう対処すべきか
実践すべき3つの習慣があります。これらはすぐに導入できます。
直線をあてはめる前にプロットすること。ずれた2つのクラウドを通る合算の傾きは、散布図を見れば一目でわかりますが、相関係数の中では不可視です。回帰分析ツールはあてはめ結果と並べて残差を表示します。積み重なったグループはそこに明白な痕跡を残します。ランダムに散らばるのではなく、大きく、構造化され、グループごとにまとまった残差が現れるのです。
計算する前に、何が何を引き起こしたと考えているかを書き出すこと。ある変数がなぜモデルに含まれるのかを説明できないのであれば、それを調整することが交絡因子を取り除くのか、それともメカニズムを破壊してしまうのかを判断することもできません。そして事後であればどちらの選択ももっともらしく正当化できてしまうことこそが、最も危険なのです。
異質なグループ全体にわたって計算された単一の見出しの数値を疑うこと。全国平均、全社的な指標、集計されたトレンド。これらはいずれも、反対方向に動いているかもしれない複数のクラウドにわたって引かれた合算の傾きである可能性があります。プリセットの逆転現象に必要なのは、わずか2つのグループと1つの相関する変数だけでした。現実のデータには、その両方が無数に存在しています。