オプショナル・ストッピング

ここにある実験には、最初は何の効果も含まれていません。次のバッチを押して、データが1バッチ届くごとに z 値がどう動くか追ってみましょう。境界線を一度でも越えた瞬間、実験は打ち切られて p < 0.05 を報告します。その後で、残る 999 回の実験も走らせてみてください。

計算例 — オプショナル・ストッピング

1回目の確認における閾値	1.960
1回目で停止する p 値の基準	0.0500
K 回目の確認における閾値	1.960
K 回目で停止する p 値の基準	0.0500
効果なしでの偽陽性率（厳密値）	19.34%
真の効果を検出する確率（厳密値）	86.49%
使用データの平均割合（効果あり）	50.0%

ページを開いたときに計算機が表示する値です。上の入力を変えると再計算されます。

インタラクティブシミュレーションを読み込んでいます...

レッスン

理論 — オプショナル・ストッピング

オプショナル・ストッピング（任意中止）とは、実験の進行中に結果を監視し、データが1バッチ集まるごとに検定を行って、有意差が出た瞬間に終了を決める行為です。K 回の確認すべてで固定標本用の閾値 |z_k| ≥ 1.96 を使い続けると、偽陽性が生じる確率は P(|z_k| ≥ 1.96 となる k ≤ K が存在する) と表され、K ≥ 2 である限り必ず 5% を上回ります。これに対し、この確率がきっちり 5% になるよう各回の閾値 c₁, …, c_K を決定するのが群逐次法の境界です。ポコック型は単一の定数を用い、オブライエン＝フレミング型は C_B√(K/k) を用います。

各記号の意味

K: 等間隔で行われる確認の総回数
zₖ: 確認 k 回目までの全累積データから計算される z 統計量
cₖ: 確認 k 回目における閾値。|zₖ| ≥ cₖ となった時点で実験は停止する
θ: 各バッチに加わる真の効果（1バッチの合計値の標準偏差を単位とする）

前提: データが既知の標準偏差を持つ正規分布に従うか、z 検定が成立するのに十分な大きさであること。確認は等間隔で行われること。すべての検定は両側検定であり、補正なしの場合は各回 5%、境界値を用いる場合は全体で 5% を保つ厳格な水準で行われること。そして最大標本サイズがあらかじめ固定されており、どのルールでも同一である（確認回数はそれを等分割しているにすぎない）こと、を前提としています。

確認ごとの増分は減っていくのに、10回重ねれば 5% は 19% に膨らむ 🖖

10回の確認を押してみてください。ここで行われている実験には、真の効果など何もありません。最初の確認はいたって素直で、1回限りの検定が本来示すべき 5.00% の実験を停止させます。ところが2回目の確認では、初回でわずかに届かず2回目で境界を越えた実験がさらに 3.31% 拾い上げられます。以降、確認ごとの増分は減り続け、10回目にはわずか 0.81 ポイントしか増えません。だからこそ『少しのぞくだけなら影響はない』と錯覚してしまうのですが、10回の累計は 19.34% に達します。その行く末を示すのが下の表です。4回から 100回まで、確認回数が倍になるたびに 5.0 から 5.5 ポイントずつ積み上がり、100回では 37.36% に達します。この画面がバッチの大きさを一切尋ねてこないのは、結果がそれに左右されないからです。1バッチが10人であろうと1万人であろうと、10回確認した代償が 19.34% であることに変わりはありません。補正を行わない10回の確認によって名目上 5% の水準が 20% 近くまで膨らむという事実を、クリム・マクファーソン（Klim McPherson）がNew England Journal of Medicine（1974年）で臨床医たちに突きつけたのは、ピーター・アーミテージ（Peter Armitage）や B・C・ロウ（B. C. Rowe）とともにJournal of the Royal Statistical Societyでこの水増しの数表を発表してから5年後のことでした。途中で実験を止めた瞬間の p 値は、あたかも最初からそこで終わる予定だったかのように計算されます。言うまでもなく、現実はそうではありません。

5回確認のそれぞれで、5% の5分の1よりも緩い基準を許せるポコック境界 🖖

ポコック（5回確認）を押してみましょう。確認ごとに基準を変えず、全体の偽陽性率がちょうど 5% になるまで閾値を一律に引き上げる手法です。その値は |z| ≥ 2.413、p 値にして 0.0158 未満。<a href="/stat/multiple-comparisons">多重比較</a>のボンフェローニ補正に従って 5% を5等分すると1回あたり 0.01 ですから、それと比べるとずいぶん寛容に見えます。なぜこれで成り立つのか。5回の検定がデータを共有しているからです。4回目までのデータは5回目までのデータの5分の4を占めており、2つの z 値の相関は √(4/5) = 0.894 に達します。5回目で境界を越える実験は、大抵4回目でもすれすれのところまで来ているのです。5回分の確率を単純に足した 5 × 0.0158 = 7.9% という計算は、そうした重なりを重複して数えています。この開きは確認回数が増えるほど顕著になります。100回確認の場合、ポコックは各回で p < 0.0040 を許容します。これは 0.05/100 の8倍もの緩さです。スチュアート・ポコック（Stuart Pocock）がBiometrika（1977年）でこの解法を導いたのも、まさにこのページが扱う設定――均等な患者群と既知の分散を持つ正規分布――においてでした。続いてオブライエン＝フレミング（5回）を押してください。こちらの閾値はデータが増えるにつれて C_B√(K/k) の式に従って下がっていきます。初回は 4.562（p 値約 0.000005 未満）ときわめて厳しく、5回目には 2.040 まで下がります。帯グラフはその結果をはっきりと示しています。許された 5% の枠のうち5分の4が、最後の2回の確認で使われているのです。

真の効果があるとき、オブライエン＝フレミングは検出力を保ち、ポコックは 9 ポイント失う 🖖

ポコック（効果あり）を押してください。全データを集めて1回だけ検定すれば 80% の確率で検出できる大きさの効果を与えてあります。ポコック境界を用いて同じデータを5回に分けて監視すると、検出率は 70.89% まで落ちます。引き換えに得られるのは早期終了の利点です。実験に消費されるデータ量は平均して全体の 70.7% で済みます。次にオブライエン＝フレミング（効果あり）を押してみましょう。検出率は 78.88%、データ使用量は平均 80.1% です。最終回の閾値 2.040 は固定標本の 1.96 よりわずかに厳しい程度なので、最後まで進んだ実験も1回限りの検定とほぼ同等の基準で評価されます。表をさらに下までたどってみてください。100回確認でも、オブライエン＝フレミングの検出力は 77.85% と高水準にとどまる一方、ポコックは 60.65% まで落ち込みます。表にある「一度でも p < 0.05」の2列は、安易なのぞき見が実験者にとってなぜ魅力的に見えてしまうのかを如実に示しています。5回確認の検出率は 84.84% と、どちらの境界値よりも高い数値を出しています。しかしそれは、何の効果もない場合ですら 14.17% の確率で「効果があった」と偽りの報告をしてしまう代償にほかなりません。

全プロセスの詳細解説

10回中4回目の確認 4 ステップ
あるオンラインショップが、新しい注文確定ページを 10,000 人の訪問者でテストすることにしました。1,000 人ごとに結果を確認していく計画です。オブライエン＝フレミングの境界値を用いる場合、4回目の確認でテストを打ち切るには、p 値がどれほど小さくなければならないでしょうか。まずは10回確認（オブライエン＝フレミング）を押してください。初回と最終回の閾値が画面に表示されます。

この問題をツールで開く
1. 画面の表示より、最終確認における閾値 C_B は次の通りです。
  
  $C_{B} (10) = 2.087, 2 (1 - Φ (2.087)) = 0.0369$
2. それ以外の各回の閾値は、C_B に √(K/k) を掛けた値になります。10回中4回目の確認では：
  
  $c_{4} = C_{B} K / k = 2.087 \times 10/4 = 2.087 \times 1.5811 = 3.300$
3. これを正規分布の両側 p 値に換算すると：
  
  $p_{4} = 2 (1 - Φ (3.300)) = 0.00097$
4. 参考に、同じ10回の確認で『一度でも p < 0.05 なら停止』とした場合を表から引くと：
  
  $P (∣ z_{k} ∣ \geq 1.96 at some k \leq 10) = 0.1934$
解答

p 値 0.00097 未満（約 1,000 分の 1 の水準）。4回目で p = 0.004 という結果が出たとき、補正なしの検定なら色めき立って実験を止めてしまうところですが、オブライエン＝フレミングではテストを続行させます。10回目の基準も p < 0.0369 と 0.05 より少し厳しい程度にとどまり、手順全体での偽陽性率を 5% に防ぎ止めます。最初の p < 0.05 で止めてしまうやり方が、19.34% も通してしまうのとは対照的です。

$p_{4} < 0.00097, p_{10} < 0.0369$

学習の道すじ

p < 0.05 が保証してくれないこと

参考文献 (2)

The first insight's history: Klim McPherson's 1974 note in the New England Journal of Medicine, showing that testing accumulating data ten times without adjustment raises a nominal 5% false-positive rate to nearly 20% (the page computes 19.34%), and his earlier tables of the inflation with Peter Armitage and B. C. Rowe (1969). Also the source for O'Brien and Fleming's 1979 boundary being the one that became standard: C. Gluud and K. Thorlund, "Long overdue recognition of Klim McPherson's 1974 article on sequential analysis of trial data," JLL Bulletin: Commentaries on the history of treatment evaluation, James Lind Library, 2025 (also J R Soc Med 2025;118:304–307). On K. McPherson, N Engl J Med 1974;290:501–502; P. Armitage, C. K. McPherson and B. C. Rowe, J R Stat Soc A 1969;132:235–244; P. C. O'Brien and T. R. Fleming, Biometrics 1979;35:549–556.
Pocock's group sequential design: patients enter in equal-sized groups, the trial stops or continues after each group on a repeated significance test, with exact results for two treatments and a normal response of known variance, which is the model the page computes. The constants the page prints (2.178, 2.289, 2.361, 2.413, 2.555 for 2, 3, 4, 5, 10 looks) are the module's own, asserted in check:compute: S. J. Pocock, "Group sequential methods in the design and analysis of clinical trials," Biometrika 64(2), 191–199, 1977. doi:10.1093/biomet/64.2.191

42Math チーム · 公表された資料と照合しています。訂正のご指摘を歓迎します。