Expectation-Maximization

EM アルゴリズムは、E ステップ（潜在変数の期待値計算）と M ステップ（期待対数尤度の最大化）を交互に繰り返して、潜在変数を持つモデルを当てはめる。

目的

潜在変数を持つ確率モデルの最尤推定を得る。GMM や HMM の学習に使われる。

メカニズム

E ステップ：Q(θ|θ_t)=E[log p(X,Z|θ)|X,θ_t]。M ステップ：θ_{t+1}=argmax Q。各反復で尤度は低下せず、局所最適に収束する。GMM クラスタリングと HMM 学習に使われる。

ユースケース

GMM の学習
HMM の学習
欠損データの推論

関連用語

Baum-Welch Algorithm

Baum-Welch は HMM のパラメータ学習に特化した EM アルゴリズムである。E ステップでは前向き・後向きアルゴリズムで隠れ状態の期待占有度を計算し、M ステップで遷移確率と出力確率を更新する。

References