スチューデントのt検定

p値とは、H₀が真であると仮定した場合に、あなたの検定統計量と同じかそれ以上に極端な値が観測される確率です。これはH₀が真である確率ではありません。p値が0.03であるということは、もし帰無仮説が真であれば、これほど極端な結果が偶然生じるのはわずか3%の場合だけであり、棄却するには十分珍しいということを意味します。しかし有意水準5%は、真の帰無仮説を単なる偶然で棄却してしまう検定が20回に1回あることを意味します（第一種の過誤）。αを小さくするとより厳格になりますが、第二種の過誤（実際の効果を見逃すこと）が増加します。グラフはこれを直接示しています。赤い線が黄色のしきい値を超えていれば、p < αです。

本質的に、t統計量は信号対雑音比にすぎません。グループ平均の差（信号）を標準誤差（無作為抽出による雑音）で割ったものです。t が大きければ差はばらつきの中で際立っており、t が小さければ偶然の可能性が高いことを意味します。実践的な教訓は、同じ平均差でも、標本が大きいほど、あるいはばらつきが小さいほど説得力が増すということです。分母の雑音が小さくなるからです。

自由度は独立した情報の個数を表すきれいな整数だと思うかもしれません。しかしウェルチのt検定はウェルチ・サタスウェイトの式を用い、通常は df = 17.4 のような小数値を返します。これは意図的な近似です。分散が等しくない場合、正確な整数の自由度は存在しないため、真の分布にできるだけ一致するよう補間するのです。だからこそウェルチの自由度は、古典的な n₁ + n₂ − 2 とは通常異なります。