Expectation-Maximization
Der EM-Algorithmus wechselt zwischen E-Schritt (Erwartungen latenter Variablen berechnen) und M-Schritt (erwartete Log-Likelihood maximieren), um Modelle mit latenten Variablen anzupassen.
Zweck
Maximum-Likelihood-Schätzungen für probabilistische Modelle mit latenten Variablen gewinnen; genutzt beim Training von GMM und HMM.
Mechanismus
E-Schritt: Q(θ|θ_t)=E[log p(X,Z|θ)|X,θ_t]. M-Schritt: θ_{t+1}=argmax Q. Jede Iteration senkt die Likelihood nie, konvergiert zu einem lokalen Optimum. Einsatz: GMM-Clustering und HMM-Training.
Anwendungsfälle
- GMM-Training
- HMM-Training
- Inferenz bei fehlenden Daten