多重比較

有意水準5%で検定する20個の仮説。1つずつ実行してp値の散らばる先を眺め、どれを発見と認めるかの判定基準を切り替えてみてください。まずは純粋なノイズから始め、やがて本物の効果を織り交ぜていきます。

計算例 — 多重比較

少なくとも1つの偽発見が生じる確率（補正なし）	64.15%
偽発見の平均個数（補正なし）	1.00
ボンフェローニが各検定に課す有意水準	0.0025
少なくとも1つの偽発見が生じる確率（ボンフェローニ）	4.88%
ベンジャミニ・ホッホバーグ：発見全体に占める偽発見の平均割合	5.00%

ページを開いたときに計算機が表示する値です。上の入力を変えると再計算されます。

インタラクティブシミュレーションを読み込んでいます...

レッスン

理論 — 多重比較

ひとつの問いやデータセットに対して行われる仮説検定の集まり全体を検定族（ファミリー）と呼びます。その中で真の帰無仮説を少なくとも1つ誤って棄却してしまう確率がファミリーワイズ誤差率です。独立な m₀ 個の真の帰無仮説をそれぞれ有意水準 α で検定するとき、この確率は 1 − (1 − α)^m₀ と表せます。ボンフェローニ法は m 個の仮説それぞれを有意水準 α/m で検定します。ホルム法はp値を小さい順に並べ、i 番目に小さいp値を α/(m − i + 1) で順次検定し、棄却できなくなった最初の時点で判定を打ち切ります。どちらの手法もファミリーワイズ誤差率を α 以下に抑え込みます。これに対しベンジャミニ・ホッホバーグ法は、p_(i) ≤ iα/m を満たす最大の i を k として、小さいほうから k 個のp値を棄却します。これにより、棄却された仮説のうち誤りである割合の期待値、すなわち偽発見率を、独立な検定において (m₀/m)α 以下に保ちます。

各記号の意味

m: 検定族内の検定の総数
m₀: 真の帰無仮説の数（m − m₀ が真の効果）
α: 単独の検定に課す有意水準（ここでは5%）
p₍ᵢ₎: 検定族内で i 番目に小さいp値
δ: 真の効果の大きさ（検定統計量の標準誤差単位）

前提: 各検定は互いに独立な両側z検定であること。真の帰無仮説から得られるp値は0から1の間の一様分布に従うこと。真の効果量はすべて同じ大きさであること。そして検定族の構成、検定数、判定基準はデータを見る前にあらかじめ決定されていることを前提としています。

効果のない検定も14回で、偽発見のほうが起きやすくなる 🖖

「効果のない検定14回」を押してみてください。個々の検定は自らの約束を守っています。真の帰無仮説が5%の関門をくぐり抜けてしまうのは20回に1回だけです。しかし、検定族全体としてはそんな保証はどこにもありません。14回のうち1つも通過しない確率は 0.95¹⁴ ですから、少なくとも1つが通過してしまう確率は 51.23% となり、20回では 64.15% に達します。13回なら 48.67% ですから、14回こそが「偽発見のほうが起こりやすくなる」最初の検定族です。20回の場合、結果の表にあるように偽発見の平均個数は 20 × 0.05 = 1 と正確に1個になります。もっとも、そうした検定族の 35.85% では偽発見が全く出ません。ランドール・マンローはこの構図をウェブコミックxkcdの第882話『Significant』（有意）で見事に描きました。科学者たちがニキビと20色のジェリービーンズとの関連を調べたところ、緑色のジェリービーンズだけがp値0.05未満となり、翌日の新聞に「偶然である確率はわずか5%！」という見出しが躍る話です。緑色の検定単独で見れば、真の帰無仮説が誤って棄却される確率は確かに5%でした。しかし新聞の見出しは、残る19色の検定の存在をすっかり無視していたのです。

ノイズだけなら3つの補正は足並みを揃え、真の効果が混ざれば別々の約束を果たす 🖖

「効果のない検定20回」を押して表をご覧ください。偽発見を許してしまう検定族の割合は、ボンフェローニが 4.88%、ホルムも同じく 4.88%、ベンジャミニ・ホッホバーグ法が 5.00% です。すべての仮説が真の帰無仮説であるとき、何らかの発見があればそれは直ちに偽発見を意味しますから、3つの手法はまったく同じ対象を防衛しています。ここで「20個中5個に真の効果」を押してみましょう。ボンフェローニとホルムは、1つでも偽発見が生じる確率をそれぞれ 3.69% と 4.13% と依然として5%未満に抑え込みます。ただし、相応の代償を払わねばなりません。5個ある真の効果のうち、検出できるのは平均して約2個にとどまります。一方のベンジャミニ・ホッホバーグ法は、13.99%の検定族で偽発見を許す代わりに、平均2.81個の真の効果を見つけ出します。ベンジャミニ・ホッホバーグ法が代わりに制御しているのは、「得られた発見全体に占める偽発見の割合」です。この割合の期待値は、最大でも (m₀/m) × 5%、この例では 15/20 × 5% = 3.75% に抑えられます。ヨアヴ・ベンジャミニとヨセフ・ホッホバーグは1995年に独立な検定に対してこの上界を証明しました。本ツールの厳密計算値もまさにこの値に一致しています。検出力のスライダーを20%から99%まで動かしても、3.75%という数値はびくともしません。その間、少なくとも1つの偽発見が出る確率は 4.63% から 19.84% へと跳ね上がります。たった1つの誤った主張も許されない厳しい場面なら、偽発見が1つでも生じる確率を厳格に抑えるべきです。しかし創薬スクリーニングのように、膨大な候補から2段階目の確証実験へ送る対象を絞り込む段階ならどうでしょう。ベンジャミニとホッホバーグが論じたように、本物の発見を取りこぼさないための妥当な対価として、あらかじめ計算されたわずかな偽発見率を受け入れる道が開けるのです。

発見すべき真の効果が多いほど、ベンジャミニ・ホッホバーグ法は寛大になる 🖖

ボンフェローニが課す基準はデータの内容にかかわらず 0.05/m で固定されています。そのため検定数20、単独検出力80%の条件下では、真の効果がたった1つであろうと15個あろうと、個々の真の効果が検出される確率は 41.23% のまま変わりません。これに対しベンジャミニ・ホッホバーグ法は、i 番目に小さいp値に i × 0.05/m という基準を当てはめます。つまり、手前に強い有意な結果が並ぶほど自身の順位 i が後ろへ押し出され、その分だけ判定のハードルが緩くなって通過しやすくなる仕掛けです。20個中に真の効果が1つしかないときは検出率 42.06% とボンフェローニと大差ありません。しかし5個なら各 56.24%、15個にもなれば 72.68% まで跳ね上がります（同じ状況でホルムは 41.25% から 46.07% への微増にとどまります）。理由を確かめるには、「20個中15個に真の効果」を押して「p値順」を選んでみてください。ホルムの階段状の基準線もベンジャミニ・ホッホバーグの直線も、最小のp値に対する 0.0025 から始まり、最大のp値に対する 0.05 で終わる点は共通しています。しかしホルムの基準は終盤の順位まで底辺近くを這い続け、10番目でも 0.05/11 = 0.0045 にすぎません。一方のベンジャミニ・ホッホバーグ法は、10番目ですでに 10 × 0.0025 = 0.025 にまで到達しています。ベンジャミニとホッホバーグも原著論文で指摘している通り、誤った帰無仮説の割合が高いほど、偽発見の確率を一律に抑え込む手法に比べて得られる検出力の向上は劇的なものになります。いかなる検定族においても、0.05/m ≤ 0.05/(m − i + 1) ≤ i × 0.05/m という大小関係が成り立つため、これら3つの手法の結果は常に入れ子構造になります。ボンフェローニが採択した発見はホルムもすべて採択し、ホルムが採択した発見はベンジャミニ・ホッホバーグ法もすべて採択するのです。

全プロセスの詳細解説

ボンフェローニ補正に必要なサンプルサイズの代償 3 ステップ
ある研究で20組の比較を計画し、ボンフェローニ法で補正することにしました。各比較は単独の有意水準5%で検出力80%を持つよう設計されています。失われた80%の検出力を取り戻すには、各比較のサンプルサイズをどれだけ増やさなければならないでしょうか。まず「20個中5個に真の効果」を押してください。結果の表に効果量とボンフェローニ補正下での検出力が表示されます。

この問題をツールで開く
1. 画面の数値より：有意水準5%で80%の検出力を得るには、標準誤差単位で δ = 2.802 の効果量が必要です。しかしボンフェローニ補正による基準 0.0025 の下では、同じ効果量に対する検出力は 41.23% まで落ち込んでしまいます。
  
  $Φ (δ - 1.960) + Φ (- δ - 1.960) = 0.80 \Rightarrow δ = 2.802, Φ (2.802 - 3.023) + Φ (- 2.802 - 3.023) = 0.4123$
2. 反対側の棄却域に入り込む確率は、5%水準で 10⁻⁶ 未満、0.0025 水準で 10⁻¹¹ 未満と無視できるほど小さいため割愛します。すると、検出力80%を確保するには δ = z + 0.8416 が必要になります。ここで z は両側検定の臨界値、Φ(0.8416) = 0.80 です。5%水準では 1.960 + 0.842 = 2.802 となり、0.0025 水準では 3.023 + 0.842 = 3.865 となります。
  
  $δ \approx z + 0.8416 : 1.960 + 0.842 = 2.802, 3.023 + 0.842 = 3.865$
3. 標準誤差は 1/√n に比例して縮小するため、効果量 δ は √n に比例して拡大します。したがって、必要なサンプルサイズはこの比率の2乗に比例して増大します。
  
  $δ \propto n \Rightarrow \frac{n ^{'}}{n} = (\frac{3 . 865}{2 . 802})^{2} = 1.903$
解答

各比較でおよそ1.90倍の観測数が必要になります。(3.865/2.802)² = 1.903 と計算できるからです。比較が100組ある場合、ボンフェローニの基準は 0.0005 となり、倍率は 2.38 倍に達します。ホルム法やベンジャミニ・ホッホバーグ法で必要となる増加分はこれより少なく済みますが、その度合いは本物の効果がいくつ存在するかによって左右されます。各手法が実際に何をどれだけ検出できるかは画面の表に示されていますが、この数式計算だけで見通すことはできません。

$1.90 \times the sample (m = 20), 2.38 \times (m = 100)$

学習の道すじ

p < 0.05 が保証してくれないこと

参考文献 (2)

The step-up rule the page calls Benjamini–Hochberg (reject the k smallest, k the largest i with p(i) ≤ (i/m)q*), the definition of the false discovery rate as E(V/R) with V/R = 0 when nothing is rejected (the table note), Theorem 1 and its lemma's bound E(Q) ≤ (m0/m)q* for independent test statistics (the second insight's 3.75%), that the FDR equals the FWER when every null is true (the second insight's agreement on noise), that the gain in power is larger when more of the hypotheses are false (the third insight), screening chemicals for drug development as a use for FDR control (the second insight), and that the procedure has greater power than Holm's (1979): Y. Benjamini and Y. Hochberg, "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing," Journal of the Royal Statistical Society, Series B (Methodological) 57 (1), 289–300 (1995).
The first insight's comic: twenty jelly-bean colours tested against acne, green alone 'p < 0.05', and the newspaper's 'only 5% chance of coincidence': R. Munroe, "Significant," xkcd no. 882.

42Math チーム · 公表された資料と照合しています。訂正のご指摘を歓迎します。