勝者の呪い

小規模な研究を押してください。真の効果量は0.20標準偏差、各群50人ですから、推定値の標準誤差は0.20になります。研究が p < 0.05 に達するのは、推定値がゼロから0.392以上離れたときだけです。それより小さな推定値が有意になることは原理的にあり得ず、したがって「発見」として世に出ることもありません。この基準を超える研究はわずか17.0%にすぎず、突破できた研究の推定値は平均0.498と、生み出した真の効果量の2.49倍にも達します。色付きの点を見てみましょう。二本の破線の間に落ちるものは一つもありませんが、真の効果量はこの破線の内側にあります。真の値が基準線より内側にある限り、この現象は常に起きます。そして検出力が50%以下であるなら、真の効果量は必ず基準線の内側に収まるのです。次に検出力 50%を押してみましょう。各群192人に増やすと基準線は真の値と同じ0.200まで下がりますが、それでも有意な推定値はすべて過大評価になります。この人数を超えると真の値を下回る有意な推定値も現れます。しかし、どれほど標本サイズを大きくしても、有意な推定値の半数以上は真の値を上回り続けます。平均を引き下げてくれるはずのゼロ付近の推定値が、決して有意にはならないからです。検出力 80%（各群400人）でも、過大評価の割合は61.9%に残ります。

小規模な研究、続いて効果量 0.05を押してみてください。真の効果量は四分の一に激減したにもかかわらず、有意な推定値の平均は0.498から0.471へと、ほとんど動きません。各群50人の場合、真の効果量がゼロから基準線の間のどこにあっても、有意な推定値の平均は0.468から0.552の狭い範囲に収まってしまいます。標準誤差単位で言えば2.34から2.76の幅であり、検出力50%以下の研究計画では例外なくこの幅に集まります。つまり、こうした研究で得られた有意な結果の大きさは、効果の大きさではなく、その研究の標準誤差がどれほど大きかったかを物語っているにすぎません。研究の内側にいる者には、この罠が見えません。得られた0.498をあたかも真実であるかのように検出力の計算式に当てはめると、本来17.0%しかないはずの検出力が70.2%もあるように錯覚してしまいます。0.471で同様に計算すれば、5.7%の研究計画が65.4%の検出力を持つように装えてしまうのです。Andrew Gelman と John Carlin は2014年の論文で、まさにこの悪循環を指摘しました。小規模な研究で有意となった推定値は常に巨大であり、それを基に事後的な検出力分析を行うと、妥当な研究に見えてしまうのです。彼らが示した脱出策は、効果量を研究の内側ではなく外側、すなわち過去の文献や科学的に妥当な物理的限界から見積もることにあります。後ほど解く演習問題も、この方針に従っています。

効果量 0.05を押してください。検出力は5.7%であり、真の効果量が完全にゼロであるときの5%を有意水準として辛うじて上回る程度です。その結果、有意に達した研究のうち実に23.7%が、本来とは正反対の方向の効果を『発見』してしまいます。しかもそのどれもが、誤った側でゼロを含まない95%信頼区間を伴っているのです。Gelman と Carlin はこれをS型過誤（符号の誤り：Sign）、過大評価をM型過誤（大きさの誤り：Magnitude）と呼びました。この設定では、有意な推定値は真の効果量の9.42倍にも達します。彼らが挙げた実例は、容姿の優れた親には娘が多く生まれるとしたサトシ・カナザワの2007年の報告です。そこでは8パーセントポイントの差が報告され、p = 0.015、標準誤差は3.3でした。しかし性比に関する膨大な文献が示す真の差は、1ポイントをはるかに下回ります。仮に真の差が0.3ポイントだとすれば、彼らの計算によれば有意な結果の約40%が符号を誤り、効果量は約25倍も誇大に見積もられます。符号を取り違える確率は、大きさを見誤る確率に比べれば生じにくいものです。このモデルでも、検出力が16.5%を下回るまで符号逆転率は1%未満にとどまりますが、その時点ですでに誇大比は2.5倍に達しています。次のステップ『偽の発見』では、これら三つの問いが残した核心に踏み込みます。ある研究分野で有意と報告された結果のうち、そもそも本物はどれだけあるのでしょうか。