Markov Chain
Eine Markov-Kette ist ein gedächtnisloser stochastischer Prozess: der nächste Zustand hängt nur vom aktuellen Zustand ab, beschrieben durch eine Übergangsmatrix P.
Zweck
Modelliert zufällige Zustandsübergänge und analysiert stationäre Verteilungen und Konvergenz.
Mechanismus
P_{ij}=Pr(X_{t+1}=j|X_t=i). Die n-Schritt-Übergänge sind durch P^n gegeben. Eine irreduzible, aperiodische Kette hat eine eindeutige stationäre Verteilung π mit πP=π. MCMC nutzt diese Eigenschaft, um aus Zielverteilungen zu samplen.
Anwendungsfälle
- MCMC-Sampling
- Stochastische Prozessmodellierung
- PageRank-Berechnung