この記事は機械翻訳であり、原文は英語です。 原文を読む
精度99%の検査は、たいてい間違っている
10,000人の受検者、99%の症例を発見する検査。そして、そのうち495人が、本来なら受けるはずのなかった不安な知らせを受け取ることになる。
ある疾患を検出する検査がある。その疾患に罹患している人の99%を陽性と判定し、罹患していない人に対して偽陽性を示す割合はわずか5%である。100人に1人がその疾患に罹患している。あなたの検査結果は陽性だった。
あなたが実際に罹患している確率はどれくらいだろうか。
直感的な答えはおよそ95%である。しかし正しい答えは16.7%だ。陽性と判定された人の大半はその疾患に罹患しておらず、これは検査の欠陥ではない。検査は箱に書かれた通りの働きを正確に行っているにすぎない。
4つの掛け算
10,000人の集団を考えてみる。
- 100人が罹患している。検査はそのうち99人を陽性と判定する。
- 9,900人は罹患していない。検査はそのうちの5%、すなわち495人を誤って陽性と判定する。
したがって594人が陽性と判定され、そのうち実際に罹患しているのは99人である。99 ÷ 594 = 16.7%となる。
偽陽性の数は真陽性の数を5対1で上回る。そしてそうなってしまう理由は、検査の性能とは何の関係もない。誤判定の対象となる健康な人の数が、単純にはるかに多いからである。9,900人に適用される5%の誤診率は、100人に適用される99%の正答率が生み出す正解よりも、多くの誤りを生み出してしまうのだ。
疾患がさらにまれになれば、事態は急速に悪化する。有病率が1,000人に1人の場合、同じ検査での陽性適中率は1.9%となる。陽性判定の50件中49件は偽陽性である。
なぜ直感は誤るのか
人々が答えている問いは、尋ねられた問いではない。「検査はどれほど正確か」という問いは、P(陽性 | 罹患)についての言明である。すなわち、罹患しているという条件のもとで陽性結果が出る確率だ。しかし本当に知りたいのはP(罹患 | 陽性)である。つまり、陽性結果が出たという条件のもとで、実際に罹患している確率だ。これらは異なる数値であり、両者を混同することはあまりにも一般的であるため名前がついている。「基準率の誤謬」、あるいは法廷で起きる場合には「検察官の誤謬」と呼ばれる。
両者を結ぶ架け橋がベイズの定理であり、直感が脱落させてしまう項が有病率――すなわち基準率である。これは検査の宣伝資料が決して冒頭で謳わない唯一の数値である。なぜなら、それは検査自体の特性ではまったくないからだ。それは検査を適用する母集団の特性なのである。
まったく同じ検査であっても、ある状況では極めて有用であり、別の状況では役に立たない。有病率が30%に達するかもしれない、すでに症状が現れている患者に適用した場合、この検査の陽性適中率は89%となる。一方、有病率が0.1%である集団への集団検診として適用した場合、陽性適中率は1.9%になる。検査機器自体は何も変わっていないのだ。
これが判断を左右する場面
医療スクリーニング政策。検診プログラムが全員に無差別に提供されるのではなく、年齢やリスクグループによって対象を絞って実施されるのは、まさにこれが理由である。「全員を検査すればよい」という意見が、一見して思えるほど単純な提案ではない理由もここにある。スクリーニングの対象を有病率の低い集団にまで広げることは、単にコストを増大させるだけではない。陽性判定が意味することそのものを変えてしまい、もともと健康であった人々に不安を与え、追加検査を強いることになり、ときには害をもたらすことさえある。
セキュリティのアラート。偽陽性率が1%の侵入検知システムが、攻撃がほんの一握りしか含まれない1日100万件のイベントを監視すると、1万件のアラートが発生し、運用チームはやがてそれらを読まなくなる。アラート疲れとは、基準率の誤謬が組織の機能不全として表れたものなのだ。
法廷。「このDNAの一致が偶然起きる確率は100万分の1である」ということは、「被告人が無実である確率が100万分の1である」ことを意味しない。もしその一致が100万件のプロファイルを持つデータベースを網羅的に検索して得られたものなら、偶然だけで概ね1件の一致が起きると予想される。この2つの言明はまったく同じように聞こえるが、その意味するところは根本から異なっている。
宇宙生物学。地球外生命に関する主張も、まったく同じ構造に支配されている。生命存在指標の検出の確からしさは、そこに生命が存在するという事前確率の高さに依存しているが、その事前確率こそ誰にも分からない数値なのだ。Biosignature Bayesツールは、その依存関係を覆い隠すのではなく、明確に示してくれる。
身につける価値のある、たった1つの習慣
検査、検知器、あるいはモデルが「精度99%」だと聞かされたら、2つの問いを立ててほしい。
第1に、どちらの方向において正確なのか。「感度」と「特異度」は異なる数値であり、単一の「精度」という数値は通常、そのどちらか一方を覆い隠している。
第2に、そしてより重要な問いとして、検出しようとしている対象はどのくらい一般的なのか。もしその答えが「まれである」なら、検知器が警告を発した対象の大半は誤りであり、それがどれほど誤っているかは、封筒の裏にでも書けば30秒ほどで計算できる。
Bayes toolは、3つのスライダーを使って同じ計算を行う。上記のケースを設定し、感度を50%から100%まで動かすと、答えは9%から17%へと変化する。一方、特異度を同じ範囲で動かすと、答えは2%から100%へと変化する。結果を決定づけるのは有病率と特異度である。箱に書かれている数値である感度は、実際にはほとんど影響しないのだ。
専門家も間違える
1978年、キャッセルズ、シェーンバーガー、グラボイズは、ハーバード大学医学大学院の教職員と学生に対して、この問題の変形を提示した。1,000人に1人が罹患する病気、偽陽性率が5%の検査、そして陽性と判定された患者。その患者が実際に罹患している確率はどれくらいだろうか。
最も多かった回答は95%であった。正解は約2%である。近い数値を答えられたのは回答者の5人に1人未満であり、しかも彼らは仕事として日常的にそうした検査を処方している人々だった。
この結果は何度も再現されており、これは医師たちへの告発というよりも、人間の心が条件付き確率をどのように処理するかを示した記述と言える。本能は、箱に印刷されている検査機器の精度にはすぐに飛びつくが、そこには書かれていない有病率に目を向けることは決してないのだ。