統計・ファイナンス

統計学とは、どこまで結論してよいかを扱う学問です。ここにあるツールはどれも、同じ問いの言い換えに答えています。これだけのデータがあって、なお偶然でありうるものは何か、という問いです。

Newest in this category

章

単体のツールではなく、短い系列として。各ステップは次のステップに具体的なものを渡すので、順番に進める価値があります。

L1: 基礎

多くのデータを1つの数字で:要約統計

MATHここにある三つのツールは、ひとつの授業を形作ります。要約値とはいわば非可逆圧縮であり、どのように圧縮するかが、その要約が何を正しく伝えているかを決定づけます。それぞれのステップは、単一の数値による要約が抱える特有の限界を浮き彫りにし、その課題を次のステップへと手渡していくのです。

  1. 01比例と割合
  2. 02加重平均
  3. 03平均値 vs 中央値
  4. 04ばらつきと偏差

L2: 中等

データの「差」はいつ本物になるのか

STAT四つのツールが一つの問いを立てます。ただし、手がかりは段階的に減っていきます。まずは二つのグループ。次に、任意の数のグループ。さらには、平均値を一切含まない単なる度数データ。最後のツールに至っては、データが存在する前にその問いを投げかけるのです。

  1. 01t検定
  2. 02分散分析
  3. 03カイ二乗
  4. 04サンプルサイズ

L2: 中等

事前確率とその由来

STATベイズの定理の計算そのものを疑う人はいません。問題となるのは事前確率です。最初の数字はどこからやってきたのか、誰がそれを選んだのか。ここにある三つのツールは、その疑問を簡単なものから順に紐解いてくれます。調べればわかる事前確率、目の前の装置が与えてくれる事前確率、そして誰も持っていない事前確率です。

  1. 01ベイズの定理
  2. 02ベイズのビリヤード
  3. 03バイオシグネチャー

L2: 中等

p < 0.05 が保証してくれないこと

STATp値が答えてくれるのは、事前に計画されたひとつの検定に対する、たったひとつの問いにすぎません。ところが実際の研究では、20もの検定を行い、集まってくるデータをその都度確認し、有意になった結果だけを公表してしまいがちです。そしてそのどれもが、p < 0.05 の持つ重みをすっかり変えてしまいます。ここにあるどのページでも、一見無害に思えるおなじみの振る舞いを取り上げ、それが支払わせる正確な代償を解き明かしていきます。

  1. 01多重比較
  2. 02任意停止
  3. 03勝者の呪い
  4. 04偽の発見

L2: 中等

公平なゲームが招く破産

STAT期待値が示すのは、大勢のプレイヤーについての平均です。一人ひとりは、自分の手持ちの資金で勝負します。公平なゲームでも、プレイヤーに有利なゲームでさえ、参加者のほとんどが破産することがあります。各ページでは、平均を淡い破線で描き、その平均を形づくる一人ひとりの行方を追います。

  1. 01賭博者の破産
  2. 02倍賭け法
  3. 03サンクトペテルブルクのパラドックス
  4. 04ケリー基準

L3: 学部

データへの直線当てはめ

MATH散らばった点の集まりを、確かな根拠のある数値へと変える七つの道具。そこから、その数値がどうやって導かれたのか、どの程度信用できるのか、誰も正解を教えてくれない時に何が起きるのかを問いかけ、最後には、最初から確率でしかなかった予測をどう評価するのかへと向かいます。この道筋では統計学よりも幾何学を辿ります。幾何学こそが、統計を嘘のない誠実なものにしてくれるからです。

  1. 01ベクトル
  2. 02最小二乗法の幾何学
  3. 03線形回帰
  4. 04勾配降下法
  5. 05過学習
  6. 06k-means法
  7. 07キャリブレーション

L3: 学部

ものを動かす行列

MATH手がかりを減らしながら、一つの問いを四度繰り返します。この行列は、実際のところ空間に何をしているのか。列ベクトルが直接の答えです。固有ベクトルは、生き残る方向について答えてくれます。そのような方向がないときはSVDが答えを出し、PCAは同じ仕組みを観測データの群れへと向けます。

  1. 01行列による変換
  2. 02固有ベクトル
  3. 03特異値分解
  4. 04主成分

L3: 学部

リスクを測る

STAT全く同じ98年分の収益率を六つのツールで分析します。各ツールが導き出した特定の数値を、次へと順に引き渡していくのです。この六段階の手順が答えるのは、ある一つの問いです。投資における真のリスクとは何なのか。そして、投資について言われていることのうち、実際に検証できる部分はどれくらいあるのか。

  1. 01リスクの在りか
  2. 02ドローダウンとドラッグ
  3. 03順序が効く
  4. 04リバランス
  5. 05どこまで確かか
  6. 06フロンティアを持ち続ける

L3: 学部

フーリエ変換の実際

COMP信号は回転する矢印の足し合わせです。そして、そこから現実的な方法で情報を読み取ろうとすれば、教科書の公式には書かれていない何らかの代償を伴います。有限の窓は、そこに収まりきらない波をすべてのビンににじませてしまいます。窓を短くすれば時間は正確に捉えられますが、音の高さは犠牲になります。平均をとる操作もまた、固有の形を持ったフィルターにほかなりません。そして最後のページは、これらすべての計算が実用的な時間で処理できる理由についてです。

  1. 01離散フーリエ変換
  2. 02スペクトログラム
  3. 03フィルターとしての移動平均
  4. 04高速フーリエ変換

全プロセスの詳細解説

ここでわかること

これらのツールから生まれた記事

この分野のすべてのツール

Probability Distributions

Zスコア計算機
z は記述であり、その横のパーセンタイルはモデルです。±2 を超えると、チェビシェフの不等式が 25% を許容するのに対し正規曲線は 4.55% を示し、データ数が 18 未満の場合、z = 4 は不可能です。
ばらつきと偏差
4 から 7 の間の七つの数の中に 20 があると、z = 2.42 を記録しますが、八つの数において 2.4749 を超える z は全く存在しません。三標準偏差に到達するには、最低でも十一の観測値が必要になります。
ポアソン分布エクスプローラー
一区間に平均 3 の事象が起こるプロセスは、わずか 22.4% の確率でちょうど 3 になり、二十回のうち一回は空の区間となります。平均と分散が同じ数であるため、調整するための幅のつまみは存在しません。
中心極限定理エクスプローラー
標準誤差 σ/√n は n = 1 で厳密に成り立つため、n を大きくすることで得られるのは幅の狭さではなく形状です。指数分布の源は n = 30 でも歪度 0.365 と傾いており、0.1 に達するには n = 400 が必要です。
二項分布エクスプローラー
σ のみから構築された正規曲線は、n = 20 のとき P(X = 7) を 1.4% 以内の誤差で捉えますが、k = 0 では 4.7 倍も高く見積もります。中央部ではパーセンテージの誤差ですが、裾では倍率の誤差になります。
信頼区間計算機
二つの 95% 信頼区間が重ならなくなるのは、標準誤差で 3.92 離れた時点であり、そのとき p = 0.0056 です。0.05 での有意性は 2.77 で現れるため、目に見える隙間を要求することは、意図したよりも九倍厳しい基準となります。
傾きとアスペクト比
同じ数値を二つ並べて描き、それぞれの直線の角度を下部に示します。直線の見かけの急さはデータではなく、軸の範囲と枠の形状によって決まります。
平均値 vs 中央値ラボ
外れ値が中央値を変えずに平均値を引き上げる仕組みと、右に歪んだ分布で大半の人が平均以下になる理由を理解します。
正規分布エクスプローラー
ベルカーブを探索:平均と標準偏差をスライダーで設定し、区間を指定して確率をリアルタイムで計算。
漢字頻度・確率エクスプローラー
出現頻度の高い 158 の漢字がこのコーパスの半分を占め、1,162 で 95% を網羅します。順位 1,500 の文字は 15,428 文字に一度現れるため、10,000 文字の物語でその文字に一度でも出会う確率は 47.7% です。

Statistical Tests & Modeling

ANOVA F検定
群間分散と群内分散がどのように組み合わさってF統計量になるかを探り、群平均に差があるかを検定します。
SVD分解エクスプローラー
95% のエネルギーを保持しても再構成誤差は 22% 残り、99% でも 10% が残ります。これは、エネルギーが特異値の二乗を数えるのに対し、誤差はそうではないからです。同じランクでこれより優れた行列は他に存在しません。
オプショナル・ストッピング
データが届くたびに検定し、一度でも p < 0.05 に達したところで止める。これを効果が皆無のデータで繰り返すと、10回の確認で 19.34%、100回なら 37.36% の確率で誤った「有意差」が報告されます。ポコックとオブライエン=フレミングの境界値はこの偽陽性率を 5% に引き戻してくれますが、引き換えに失う検出力には差があります。1バッチずつ進められる 1,000 回の実験シミュレーションと、数値積分が弾き出す厳密な確率を並べて確かめてみてください。
カイ二乗と残差マップ
分割表を編集し、期待度数、標準化残差のヒートマップ、カイ二乗への寄与を調べる。
スチューデントのt検定
1標本および2標本のWelchのt検定。t分布曲線と棄却域の可視化付き。
フィルタとしての移動平均
7日移動平均は、どんな形であれ、毎週きっちり繰り返すパターンをすべて消し去ります。1週間に1、2、3サイクルの周波数で利得がゼロになるフィルタだからです。最初のゼロ点を過ぎると、波の上下を反転させます。ドイツの実際の報告数、合成した1週間、純粋な波と、その周波数応答を並べて描きました。
ベンフォードの法則エクスプローラー
数値の集合が、実際のデータに見られる先頭数字の分布を持っているかを検証し、どのようなデータセットがこの法則に従い得ないのかを確認しましょう。
偽の発見
ある研究分野で1,000件の仮説を検証し、真の仮説が10に1つあるとします。検出力80%なら有意な結果の64.0%が本物ですが、検出力20%では同じ45件の偽陽性に埋もれて30.8%にまで落ち込みます。10%のバイアスが加われば、80%の検出力も誠実な研究の28.3%相当にすぎません。さらに、誰も不正をしていなくとも、すべての発見を実直に追試して再現するのは53.0%にとどまります。
因果関係サンドボックス
X と Y は 400 点において −0.8871 で相関しますが、Z を固定すると −0.0553 になります。つまりゼロから標準誤差 28 だったものが 1.1 に変わるのです。交絡因子、合流点、そしてシンプソンのパラドックスというシナリオを一つの生成器で扱います。
多重比較
まったく効果のないノイズだけの検定でも、20回繰り返せば64.15%の確率で5%未満の結果が出ます。誤って有意と判定される確率は、14回ですでに五分五分を超えます。1つずつ検定を進め、ボンフェローニ、ホルム、ベンジャミニ・ホッホバーグの各手法がどれを発見と認めるか見届けてみましょう。同じ条件で抽出した2,000組の検定族と並べ、あらゆる確率を厳密に計算します。
平均への回帰
あるテストで上位10%の集団を選ぶと、その平均点は124.8点になります。同じ集団にもう一度テストを受けさせると、全員の実力が変わっていなくても、平均点は112.4点に下がります。初回に彼らを上位に押し上げた要因の半分は、単なる運だったからです。逆に、下位10%の集団に全く効果のない指導を行ったとしても、彼らの成績は12.4点向上します。
線形回帰
散布図、残差、ピアソンrとスピアマンρを用いてデータに最小二乗直線を当てはめます。

Probability Paradoxes & Demos

サンクトペテルブルクのパラドックス
表が出るまで硬貨を投げ、裏が出るたびに賞金は1、2、4、…ドゥカートと倍になります。期待値は無限大。それでも、支払いの上限が16,777,216ドゥカートの胴元なら、このゲームの価値は13です。シードを固定した二百人のプレイヤーを通して、何度繰り返しても平均が落ち着かない理由を探ります。ダニエル・ベルヌーイが1738年に提案した対数でお金の価値を測ると、資産Wのプレイヤーが払ってよい参加料は、資金Wの胴元に対するゲームの価値とほぼ一致します。資産が1,000ドゥカート以上なら、その差はわずか数百分の一ドゥカートです。
サンプルサイズと誤差範囲プランナー
信頼水準と予想される比率から、サンプルサイズまたは誤差範囲を計画します。
デジャヴ検出器
ランダムな記号列の中で局所的なパターンがどれくらい頻繁に繰り返されるかを確認します。
ベイズのビリヤード — 肩越しに投げた豆の謎
一様事前分布がベータ事後分布へ変わっていく様子を、伏せられた豆の一投ごとに見てみましょう。
ベイズの定理 / 偽陽性エクスプローラー
有病率 0.1% において 99% の精度を持つ検査は、一つの陽性を 9.0% に、二つの独立した陽性を 90.75% に変えます。同じ検査を同じように繰り返した場合は 16.4% にしかなりません。これはエラーも繰り返されるためです。
マーチンゲール法
1単位を賭け、負けるたびに倍にして、勝ったら終える。ヨーロピアン・ルーレットの赤に資金1,023単位で賭けると、99.8725%のセッションで1単位の利益が出ます。それでも、賭け金総額の期待値11.308に対して収支の期待値は−0.3056。賭け金あたり−2.7027%という割合は、胴元の優位率と最後の桁まで一致します。1,000セッション後には72.08%の人が損失を抱えます。400人の収支を同時に描き、厳密な確率分布と見比べます。
モンティ・ホール問題
三つのドアから一つを選び、司会者が別のドアを開けてヤギを見せた後、ドアを変更すると3回に2回の確率で車が当たります。司会者のルールだけを変更し、何も知らずにドアを開ける司会者にすると、全く同じ状況でも当たる確率は2回に1回になります。
モンテカルロ法 円周率エクスプローラー
誤差は 1/√N で減少するため、正しい桁を一つ増やすには約 100 倍の点が必要になります。N = 2000 のデフォルト実行では 3.122 が得られ、この N においてはどんなシード値を用いても 4.073 × 10⁻⁴ の誤差に勝ることはできません。
偶然の集中(連続パターンのパラドックス)
コイン投げの連続パターン探索ツール:理論的な連続確率とモンテカルロ・シミュレーションを比較する。
勝者の呪い
真の効果量が0.20標準偏差、各群50人の設定では、p < 0.05に達する研究は17.0%にとどまります。そして、有意となった研究の推定値は平均0.498と、真の値の2.49倍に達します。検出力が50%を下回ると、有意な結果は例外なく効果の大きさを過大評価します。検出力5.7%に至っては、実に23.7%が符号すら取り違えるのです。数式が導く厳密な理論値の傍らで、研究を一つずつ実行してみましょう。
待ち行列理論シミュレーター (M/M/1)
M/M/1待ち行列における利用率と待ち時間を調べましょう。
誕生日のパラドックス エクスプローラー
二十三人で 50.7% に達するのは、その中に 253 のペアが存在するからです。特定の誕生日に一致させるには 253 人が必要になります。同じ √N の法則により、32 ビットのハッシュは 77,162 項目で衝突します。
賭博者の破産
公平なコインで、手持ち10枚に対して相手は1,000枚。99.0099%の確率で破産しても、収支の平均はちょうど0です。ルーレットでは、賭けるたびにその全額に控除率がかかります。100枚を200枚に増やそうと1枚ずつ賭けると、平均で99.11枚を失いますが、100枚すべてを一回で賭ければ、平均損失は2.70枚。四百人のチップの推移と、厳密な確率を並べて見てみましょう。

Finance & Economics

インフレ調整ツール
インフレが購買力をどのように蝕み、時間とともに名目価値をどのように膨らませるかを確認します。
ケリー基準
勝率60%で、勝てば賭け金と同額の利益が得られるコイン投げ。毎回全額を賭けると、100回後の平均資金は開始時の8.28×10⁷倍になるが、資金が残る確率は6.53×10⁻²³にすぎない。個人の資金が最も速く増えるのは、ケリー比率の0.2を賭けたとき。0.3894を超えると、賭け自体は有利なままでも、資金はほぼ確実にゼロへ向かう。厳密な確率分布と、乱数シードから生成した二百人の推移を並べて見る。
ドローダウンとボラティリティ・ドラッグ
ポートフォリオがそれまでの最高値からどこまで沈んだか、そこから戻すのに何が要るか、そして好調な10年でもボラティリティが静かに削り取っていくリターン。
ポートフォリオ分散チェック
スナップショットに基づく相関とボラティリティを使って、ポートフォリオが異なる値動きをする資産に分散されているかを確認します。
リスクプレミアムと、その確からしさ
投資家が「その対価を受け取っている」と説明される4つのプレミアムを、98年分のリターンで測ります。それぞれに付く統計的な確かさは、たいてい平均が思わせるよりはるかに小さいものです。
リバランスか、放置か
毎年、勝った側を売って目標配分に戻す運用と、一度も手を触れない運用を、1928年以降の実際のリターンで比べます。そのとき本当に何と何を比べているのかも見えてきます。
ローン返済計算機
期間を二倍にすると支払額は 42% 減少し、利息は 108% 増加します。25,000 を 6.2% で借りると、五年間の月々の支払額は 485.65、十年では 280.07 となり、利息は 8608 に対して 4139 となります。
人口動態・経済ラボ
方程式に基づく分析とシナリオ分解機能を備えた、対話型の人口・経済シミュレーター。
値入率と利益率
原価 40 で 60 で売る場合、一つの利益 20 に対してマークアップは 50%、マージンは 33.33% となります。40% のマージンを得るための価格設定には 66.67 が必要です。原価に 40% を足すと 56 になり、マージンはわずか 28.6% にとどまります。
効率的フロンティア、サンプルの外で
平均分散法の効率的フロンティアを過去のある期間で求め、その配分のまま次の期間を保有して、実際にどこへ着地するかを見ます。着地点はたいてい、約束されたはずの曲線の内側です。
単価
パッケージサイズごとの単価と、店頭でその比較を難しくしている2つの要因。「50%増量」は50%割引ではなく、大きな箱が必ずしも安いとは限りません。
単利 vs 複利
10,000 を 7% で二十年間運用すると、単利では 24,000 となり、月次複利では 40,387.39 となります。年次から月次への移行で 1,690.54 の利益を生み、月次から日次でさらに 159.17、連続複利ではさらに 5.44 の利益を得ます。
収益率配列のリスク
平均リターンが同じ2つのポートフォリオでも、結果が大きく食い違うのはなぜか。1928年以降の実際の年次リターンで確かめられます。
年金の将来価値
定期的な積立が時間とともにどのように資産へと複利で成長するかを見てみましょう — 残高、積立額、年間の増加を1つのグラフで表示します。
税引後の実質利回り
利息は、インフレ分を含めた名目金額全体に対して課税されます。口座の金利、物価の変動、そして税金を設定し、実質的な利益のうち実際に失われる割合を読み取ってください。このページのデフォルト設定では、25% の税金が実質利益の 62.5% を奪い、40% では完全に現状維持にとどまります。
米国債(ビル、ノート、ボンド):利回りが価格にどう作用するか
米国債(短期、中期、長期)の利回りから価格を計算し、割り引かれた各キャッシュフローを確認します。2026年に、30年債の利回りが38ベーシスポイント変動しただけで価格が5.72%下落したのに対し、2年債の利回りは90ベーシスポイント変動して1.71%の下落にとどまった理由を考えましょう。
線形計画法(2D)
実行可能領域は解の存在を約束するものではありません。非有界のプリセットにはそれが存在しますが、最適な頂点はありません。最適解における潜在価格は 2、1、0 であり、最初のものは予算が 5 になった時点で効力を失います。
複利計算ツール
10,000 を 7% で三十年運用すると、年次複利では 76,122.55 となり、月次複利では 81,164.97 となります。そして、一時間ごとから連続複利への移行がもたらすのは 69 セントの差です。
課税段階:限界税率と実効税率
段階的な税率が手取り額にどう影響するか。次に稼ぐ単位にかかる税率と、所得全体に対して実際に支払った税率。そして、この2つを乖離させる控除の消失について解説します。
購入と賃貸:純資産の比較
二つの家庭があり、手元の資金も月々の予算も同じだとします。片方は400,000の家を購入し、もう片方は1,800の家賃で借りて差額を投資します。十年後、両者の純資産の差は2,952になります。住宅価格の上昇率や投資利回りがわずか一パーセントポイント変わるだけで、結果はどちらにも転びます。
需給ショック・シミュレーター
供給曲線と需要曲線をシフトさせ、均衡の変化を観察します。
Related categories: 数学, コンピューティング