パターンシーケンステスト

この4択・二項採点方式は、1930年代にJ・B・ラインがデューク大学で行ったゼナー・カード実験を彷彿とさせます — 被験者は5つのシンボルの並びを推測し、ここで使われているのと同じ偶然のベースラインで採点されました。ラインは偶然を上回る的中率を報告し、それをESPの証拠だと主張しましたが、その後の分析により、適切な統制のもとでは結果が崩れることが判明しました。感覚的な情報漏れ、良いセッションだけを選んで報告すること、記録ミスなどが「超能力的な」スコアの正体でした。この教訓は超心理学にとどまりません — p値が0.05を下回ることが本当に信号の証拠となるのは、人間のパターン認識も含め、ありふれた説明をすべて排除できた場合だけです。

選択肢が4つなら、当てずっぽうでも平均25%は当たり、10ラウンドで約2.5問正解する計算です。しかし偶然にはばらつきがあります。ただ推測するだけの人でも、およそ8%の確率で10問中5問を当ててしまうため、一見すごそうな点数も単なる変動にすぎないことがあります。だからこのツールはあなたの結果を X ~ Binomial(n, p = 0.25) としてモデル化します。10ラウンド設定では、5問ではなく実際には6問正解して初めて p < 0.05 の基準を超え、本物の実力とみなされます。

この25%という当て推量の確率は、かつて大規模試験の採点方法を左右しました。当てずっぽうによる得点を打ち消すため、'公式採点'では誤答ごとに一定の点数を差し引き、ランダムな回答の期待値がゼロになるよう調整していました。選択肢が4つの問題なら、その割合はちょうど1/3です。SATはこの減点方式を数十年にわたり2016年まで用い、その後は減点を廃止して、受験者に迷わず推測するよう促しました。