ばらつきと偏差

The centre is one number; spread says how far the data live from it.

インタラクティブシミュレーションを読み込んでいます...

一つの推定が自由度を一つ使う 🖖

偏差平方和を可能な限り小さくするただ一つの値、それが標本平均です。したがって、目に見えない母平均ではなく、標本自身の平均を基準にして測定を行うと、ズレの合計は必ず本来よりも小さくなります。そしてそのままnで割れば、その不足分はしっかり引き継がれてしまいます。上の実験でも、大きさが5の標本に対してnで割ると、結果はおよそ5分の1だけ低くなります。これは平均して低くなるというわけではなく、再抽出のたびに毎回低く出るのです。この不足分を引き伸ばして補正するための操作が、n − 1による除算です。

標準偏差は平均距離ではない 🖖

偏差を2乗して平均を出し、平方根をとる操作は、単に距離を平均するのとは訳が違います。2乗する仕組みのおかげで、平均から2倍遠い値は4倍の重みを持つようになるからです。この違いによる影響は、常に一方向にしか働きません。どのようなデータの集まりであっても、標準偏差が平均絶対偏差を下回ることは決してないのです。これら二つが等しくなるのは、すべての値が平均から等距離に配置されている特別な場合のみです。教室の点数データは2.55と2.00を示しています。一方、標本用の除数が適用される外れ値を一つ含んだプリセットでは、結果は5.15と3.13になります。

四分位範囲は裾を意図的に無視する 🖖

四分位範囲は、そもそも何かを測る前にデータの下位4分の1と上位4分の1を切り捨てます。極端な値が一つあっても全く影響を受けないのは、まさにこのためです。しかしそれは同時に、データの声に耳を塞いでしまうということでもあります。このページにある密集したデータ群と、外れ値を一つ含んだプリセットは、どちらも2.00という四分位範囲を示します。一方で、それぞれの標準偏差は1.22と5.15です。四分位範囲だけを見ていても、データがどこまで広がっているかについては何も分からないのです。

全プロセスの詳細解説

  1. 三シグマ規則では検出できない、明らかな外れ値 9 ステップ

    「one outlier」のプリセットには 4 から 7 の間の値が7個と、20 が1個入っています。この最後の値の z スコアを標本標準偏差から求め、標準偏差の3倍を超えたものを検出する規則がこれを捕まえられたかどうかを判断してください。

    1. 8個の値を足して分け合わせます。60 を 8 で割って 7.50。8個のうち7個はこれより下にあるので、ただ一つの高い値は、ばらつきに触れる前からすでに中心を動かしています。

    2. それぞれから 7.50 を引きます。密集した7個は 0.5 から 3.5 の範囲に収まり、8個目だけが 12.5 離れています。パネルはこの列を表示し、その合計はゼロになります。偏差の列は必ずそうなります。

    3. 二乗すると合計が偏ります。7個の合計は 29.75、20 の値は単独で 156.25 を占め、標本の残り全部を合わせた5倍を超えます。これが二乗の役目そのものです。

    4. このプリセットは標本モード(Sample (÷ n − 1))で読み込まれるため、割る数は 8 ではなく 7 です。パネルは答えだけでなく分数も表示します。186.00 を 7 で割って分散は 26.57、標準偏差は 5.15。この割り算をもう一桁進めると s は 5.1547 で、次の段階ではこの値を使います。

    5. z スコアは平均から標準偏差いくつ分かを数えるので、ここでは 12.5 ÷ 5.1547 で 2.4249。この集合でいちばん目立つ値が 3 に届かず、しかも惜しくもありません。

    6. ここで、それがこのリスト固有の事実なのか、8個の数一般の事実なのかを問いましょう。決め手は一つ、偏差の合計がゼロだということです。残り7個が何であれ、その和は8個目の符号を反転した値にぴったり等しくなります。

    7. 和が決まっている数の組は、すべて等しいときに二乗和が最小になります。ですから残り7個の偏差がそろって小さいことはあり得ません。いちばん節約しても負担を均等に分け合うところまでで、そこが二乗和の下限になります。

    8. 二乗和に下限があれば s に下限があり、s に下限があれば z に上限があります。n 個のリストのどの値も、平均から (n − 1)/√n 標本標準偏差より遠くには座れません。n = 8 ならその上限は 2.4749 です。20 を 100 に上げるとパネルは偏差 82.50、標準偏差 33.35 を返し、z は 2.474。百万に上げれば z は小数点以下4桁で 2.4749 に届き、そこで止まります。

    9. 上限は n だけで決まります。それが初めて 3 を超えるのは値が11個のときで、10個では 2.846 まで、11個では 3.015 まで届きます。ここのリストは12個入るので、その極端な場合にも手が届きます。標本モードのまま、0 を10個と 1000 を1個入力してみてください。パネルは平均 90.91、標準偏差 301.51 を返し、最大の偏差 909.09 を 301.51 で割ると 3.015、これが上限そのものです。

    解答

    z = 2.42。三シグマ規則にこれは捕まえられませんでした。8個の数からは、そのうちの一つがどれほど極端でも z が 3 に達し得ないからです。

    ここで規則は間違っていたというより、使えなかったのです。持ち帰る価値があるのはその部分です。標準偏差で書かれたしきい値は、値についての主張であると同時に標本サイズについての主張でもあります。検定される値そのものが、それを測る標準偏差の中に入っているからです。標準偏差3倍がそもそも到達可能になるには観測が11個以上必要で、4倍には18個必要です。それより小さい標本では、汚染された標本もきれいな標本もこの検定には同じに見えます。8個の数でちゃんと働くものなら、すでにこのページの上にあります。テューキーの垣根は境界を Q3 + 1.5 × IQR に置きます。パネルは Q3 = 7.00、IQR = 2.00 を返すので垣根は 10 に立ち、20 の値はその外にはっきり出ます。四分位数は並べ替えたリストの中の位置であって平均ではありません。だから判定される点が物差しのほうを動かすことはないのです。

学習の道すじ

多くのデータを1つの数字で:要約統計

例題

  • classroom scores - 4から13まで、8つのテストの得点です。中央の列を縦に追うと、偏差は相殺されてゼロになります。3列目でまず2乗するのはこのためです。平方和は52.00。これをn = 8で割ると、分散は6.50、標準偏差は2.55、そして平均絶対偏差は2.00になります。
  • tight cluster - 48.00から52.00までの、8つの測定値です。「ばらつき」は数値の大きさではなく、互いがどれだけ離れているかだけを問題にします。偏差平方和は12.00になり、平均絶対偏差が1.00であるのに対し、標準偏差は1.22となります。次は外れ値のセットを読み込んで、これら二つの指標がどう乖離していくかを見てみましょう。
  • one outlier - 7つの値が4から7の間に密集し、1つだけが20に飛び抜けています。2乗の列の合計186.00のうち、このたったひとつの点だけで156.25を生み出しています。そのため、平均絶対偏差が3.13で止まるのに対し、標準偏差は5.15にまで達します。四分位範囲はこれに一切影響されません。Q1とQ3は5.00と7.00なので、最後の値がどれほど離れていようと、IQRは2.00のままです。標本除数を適用するプリセットはこれだけです。