偽の発見

検出力80% を押してください。仮説の真偽は10に1つが真で、分析の歪曲もないため、発見とは純粋に p < 0.05 を満たしたものを指します。仮説1,000件あたり、分野からは80件の真の発見と45件の偽の発見が報告され、出版されたものの64.0%が本物となります。次に 検出力20% を押してみましょう。偽の発見は45件のまま動きません。偽である900件の仮説から α = 5% で生じるものであり、検出力の影響を一切受けないからです。今回の試行でも、黒点のない同じ48個のマス目が、どちらの設定でもまったく同じ位置に残っています。一方で真の発見は20件へと激減し、本物の割合も30.8%まで落ち込みます。検出力の不足は、よく『研究者が本物の効果を見落とす損失』として語られます。しかし損をするのは読者も同じです。脆弱な研究から出た有意な結果は、たとえ同じ基準をクリアしていても価値が低いのです。その基準を通過した結果のうち、本物が占める割合自体が小さいからです。ジョン・イオアニディスは2005年、この条件を1行で言い表しました。(1 − β)R > α のとき、発見は偽であるよりも真である公算が高くなります。ここで 1 − β は検出力、R は検証された仮説が真であるオッズです。10に1つが真なら R = 1/9 となり、検出力は45%を超えていなければなりません。

バイアス10% を押してください。研究自体の検出力は先ほどと同じ80%ですが、有意差の出なかった分析の10に1つが、何らかの形で発見として報告されてしまいます。別の評価項目へのすり替え、都合の良いサブグループの抽出、不都合なデータの除外などがそれです。イオアニディスはこの割合を u と呼びました。このバイアスは、もともと大半が検出されていた真の仮説にはほとんど恩恵をもたらしません（80%が82%になる程度です）。深刻なのは偽の仮説への影響です。誠実な検証であれば95%の確率で退けられるはずのところ、その95%の10%にあたる9.5ポイントが漏れ出します。偽の仮説が発見と化す確率は14.5%へと跳ね上がり、実に3倍近い頻度です。本物の発見の割合は64.0%から38.6%へと急落します。下の結果欄を見れば、その深刻さがわかるでしょう。バイアスのない誠実な分野なら、検出力28.3%の研究でも同じ38.6%を達成できるのです。スライダーで検出力を99%まで引き上げても、バイアスのある分野のPPVは43.2%までしか届きません。100%の行を見ても43.4%であり、どんな研究でもこれ以上には達しないのです。ここで 誠実・検出力35% を押してみてください。43.8%となります。検出力35%の誠実な分野は、u = 10% のバイアスを抱えた完全な検出力の分野と同等以上に信頼できる発見を世に送り出せるのです。その境界点である α/(α + u(1 − α)) = 34.5% の式には π が含まれていません。最初のスライダーをどう動かしても、この値はびくともしないのです。

検出力80% を押し、最初から を押して最後のステージまで順に進めてみてください。出版されたすべての発見が、同じ検出力で誠実に追試されます。真の発見が再び有意となる確率は80%、偽の発見は5%ですから、出版された知見のうち再現されるのは53.0%です（今回の試行では129件中69件）。黒点の上に重なった×印を数えてみてください。再現に失敗した60件のうち12件は真の仮説であり、理論的な割合は27.2%にのぼります。誰も不正を働いておらず、研究の手続きに不備があったわけでもありません。検出力80%である以上、本物の効果であっても5回に1回は見逃される運命にあり、それは1回目でも2回目の追試でもまったく同じだからです。したがって、追試の再現率をそのまま『その分野における真実の割合』と読み取ることはできません。真の発見であっても追試の検出力の確率でしか再現されず、偽の発見はそれより低い α の確率でしか再現されないため、再現率は追試の検出力を決して超えられないのです。仮にすべての発見が真実であったとしても、追試の検出力が50%であれば半数の発見が再現に失敗します。バイアス10% を押すと、同じ誠実な追試を行っても再現率は33.9%にまで落ちます。再現を試みた対象の多くが、もともと存在すらしていなかったからです。