Markov Chain
マルコフ連鎖は記憶を持たない確率過程である。次の状態は現在の状態のみに依存し、遷移行列 P で記述される。
目的
状態間のランダムな遷移をモデル化し、定常分布と収束を分析する。
メカニズム
P_{ij}=Pr(X_{t+1}=j|X_t=i) である。n 歩遷移は P^n で与えられる。既約かつ非周期的な連鎖は一意の定常分布 π（πP=π）を持つ。MCMC はこの性質を利用して目的分布からサンプリングする。
ユースケース
- MCMCサンプリング
- 確率過程のモデリング
- PageRankの計算