全プロセスの詳細解説
-
三シグマ規則では検出できない、明らかな外れ値 9 ステップ
「one outlier」のプリセットには 4 から 7 の間の値が7個と、20 が1個入っています。この最後の値の z スコアを標本標準偏差から求め、標準偏差の3倍を超えたものを検出する規則がこれを捕まえられたかどうかを判断してください。
-
8個の値を足して分け合わせます。60 を 8 で割って 7.50。8個のうち7個はこれより下にあるので、ただ一つの高い値は、ばらつきに触れる前からすでに中心を動かしています。
-
それぞれから 7.50 を引きます。密集した7個は 0.5 から 3.5 の範囲に収まり、8個目だけが 12.5 離れています。パネルはこの列を表示し、その合計はゼロになります。偏差の列は必ずそうなります。
-
二乗すると合計が偏ります。7個の合計は 29.75、20 の値は単独で 156.25 を占め、標本の残り全部を合わせた5倍を超えます。これが二乗の役目そのものです。
-
このプリセットは標本モード(Sample (÷ n − 1))で読み込まれるため、割る数は 8 ではなく 7 です。パネルは答えだけでなく分数も表示します。186.00 を 7 で割って分散は 26.57、標準偏差は 5.15。この割り算をもう一桁進めると s は 5.1547 で、次の段階ではこの値を使います。
-
z スコアは平均から標準偏差いくつ分かを数えるので、ここでは 12.5 ÷ 5.1547 で 2.4249。この集合でいちばん目立つ値が 3 に届かず、しかも惜しくもありません。
-
ここで、それがこのリスト固有の事実なのか、8個の数一般の事実なのかを問いましょう。決め手は一つ、偏差の合計がゼロだということです。残り7個が何であれ、その和は8個目の符号を反転した値にぴったり等しくなります。
-
和が決まっている数の組は、すべて等しいときに二乗和が最小になります。ですから残り7個の偏差がそろって小さいことはあり得ません。いちばん節約しても負担を均等に分け合うところまでで、そこが二乗和の下限になります。
-
二乗和に下限があれば s に下限があり、s に下限があれば z に上限があります。n 個のリストのどの値も、平均から (n − 1)/√n 標本標準偏差より遠くには座れません。n = 8 ならその上限は 2.4749 です。20 を 100 に上げるとパネルは偏差 82.50、標準偏差 33.35 を返し、z は 2.474。百万に上げれば z は小数点以下4桁で 2.4749 に届き、そこで止まります。
-
上限は n だけで決まります。それが初めて 3 を超えるのは値が11個のときで、10個では 2.846 まで、11個では 3.015 まで届きます。ここのリストは12個入るので、その極端な場合にも手が届きます。標本モードのまま、0 を10個と 1000 を1個入力してみてください。パネルは平均 90.91、標準偏差 301.51 を返し、最大の偏差 909.09 を 301.51 で割ると 3.015、これが上限そのものです。
解答
z = 2.42。三シグマ規則にこれは捕まえられませんでした。8個の数からは、そのうちの一つがどれほど極端でも z が 3 に達し得ないからです。
ここで規則は間違っていたというより、使えなかったのです。持ち帰る価値があるのはその部分です。標準偏差で書かれたしきい値は、値についての主張であると同時に標本サイズについての主張でもあります。検定される値そのものが、それを測る標準偏差の中に入っているからです。標準偏差3倍がそもそも到達可能になるには観測が11個以上必要で、4倍には18個必要です。それより小さい標本では、汚染された標本もきれいな標本もこの検定には同じに見えます。8個の数でちゃんと働くものなら、すでにこのページの上にあります。テューキーの垣根は境界を Q3 + 1.5 × IQR に置きます。パネルは Q3 = 7.00、IQR = 2.00 を返すので垣根は 10 に立ち、20 の値はその外にはっきり出ます。四分位数は並べ替えたリストの中の位置であって平均ではありません。だから判定される点が物差しのほうを動かすことはないのです。 -
学習の道すじ