Markov Chain
Une chaîne de Markov est un processus stochastique sans mémoire : l'état suivant ne dépend que de l'état courant, décrit par une matrice de transition P.
Objectif
Modéliser des transitions aléatoires entre états et analyser distributions stationnaires et convergence.
Mécanisme
P_{ij}=Pr(X_{t+1}=j|X_t=i). Les transitions à n pas sont données par P^n. Une chaîne irréductible et apériodique possède une unique distribution stationnaire π avec πP=π. Le MCMC exploite cette propriété pour échantillonner des distributions cibles.
Cas d’usage
- Échantillonnage MCMC
- Modélisation de processus stochastiques
- Calcul de PageRank