定常マルコフ連鎖エクスプローラー

マルコフ連鎖は記憶のない確率的遷移をモデル化します。遷移行列が無限の累乗になると、システムは固有の定常固有値ベクトルに収束し、初期条件を消去し、純粋な長期確率平衡を明らかにします。

遷移行列の各行は単なる確率の集まりで、ある状態にいるとき次の一歩でそれぞれの状態へ移る確率を表します。現在の確率ベクトルを一歩ごとに P と掛け合わせると、数値は一定の分布、すなわち定常分布 π へと近づいていきます。この分布は、長期的にシステムが各状態で過ごす時間の割合を示します。天気のサンプルを試して、p(k) が落ち着く様子を確かめてみてください。

二状態の行列を [[0,1],[1,0]] に設定してみましょう。必ず裏返るコインです。これは完全に正当な唯一の定常分布 π = (0.5, 0.5) を持ちますが、(1, 0) から始めると p(k) は 1,0 → 0,1 → 1,0 と永遠に振動し、決して収束しません。こうした周期的な連鎖こそ、エクスプローラーが converged: no と表示することがある理由です。収束の保証には、唯一の π だけでなく非周期的な連鎖が必要なのです。