Explorador de cadeias de Markov estacionárias

As cadeias de Markov modelam transições probabilísticas sem memória. À medida que a matriz de transição é elevada a potências infinitas, o sistema converge para um vetor próprio estacionário único, apagando as condições iniciais e expondo o equilíbrio estocástico.

Cada linha da matriz de transição é apenas um conjunto de probabilidades: se você está em um estado, com que probabilidade salta para cada um dos outros no próximo passo. Multiplique seu vetor de probabilidade atual por P uma vez por passo e os números derivam para uma mistura fixa, a distribuição estacionária π. Essa mistura indica a fração do tempo que o sistema passa em cada estado no longo prazo — experimente o exemplo do clima e observe p(k) se estabilizar.

Defina a matriz de dois estados como [[0,1],[1,0]] — uma moeda que sempre vira. Ela tem uma distribuição estacionária única e perfeitamente válida π = (0.5, 0.5), mas ao começar em (1, 0), p(k) oscila para sempre 1,0 → 0,1 → 1,0, sem nunca convergir. São exatamente essas cadeias periódicas que explicam por que o explorador pode indicar converged: no; a convergência garantida exige uma cadeia aperiódica, não apenas um π único.