Expectation-Maximization
EM 算法交替 E 步(计算隐变量期望)与 M 步(最大化期望对数似然),求含隐变量模型参数。
用途
含隐变量概率模型的极大似然估计,用于 GMM、HMM 训练。
机制
E 步:Q(θ|θ_t)=E[log p(X,Z|θ)|X,θ_t]。M 步:θ_{t+1}=argmax Q。每次迭代不降低似然,收敛至局部最优。用于 GMM 聚类与 HMM 训练。
用例
- GMM 训练
- HMM 训练
- 缺失数据推断
EM 算法交替 E 步(计算隐变量期望)与 M 步(最大化期望对数似然),求含隐变量模型参数。
含隐变量概率模型的极大似然估计,用于 GMM、HMM 训练。
E 步:Q(θ|θ_t)=E[log p(X,Z|θ)|X,θ_t]。M 步:θ_{t+1}=argmax Q。每次迭代不降低似然,收敛至局部最优。用于 GMM 聚类与 HMM 训练。