Markov Chain
Una cadena de Markov es un proceso estocástico sin memoria: el siguiente estado depende solo del estado actual, descrito por una matriz de transición P.
Propósito
Modelar transiciones aleatorias entre estados y analizar distribuciones estacionarias y convergencia.
Mecanismo
P_{ij}=Pr(X_{t+1}=j|X_t=i). Las transiciones a n pasos vienen dadas por P^n. Una cadena irreducible y aperiódica tiene una distribución estacionaria única π con πP=π. MCMC aprovecha esta propiedad para muestrear de distribuciones objetivo.
Casos de uso
- Muestreo MCMC
- Modelado de procesos estocásticos
- Cálculo de PageRank