Adam Optimizer
Adam kombiniert Momentum (erstes Moment) und RMSProp (zweites Moment) mit adaptiver Lernrate – der am häufigsten genutzte Optimierer im Deep Learning.
Zweck
Der Standard-Optimierer für Deep-Learning-Training, passt die Lernrate jedes Parameters adaptiv an.
Mechanismus
Erhält erstes Moment m (Momentum) und zweites Moment v (RMSProp) des Gradienten, aktualisiert nach Bias-Korrektur: θ ← θ - η * m_hat/(√v_hat + ε). Standard β1=0.9, β2=0.999. Kombiniert Momentum-Beschleunigung mit adaptiver Rate.
Anwendungsfälle
- Deep-Learning-Training
- Neuronale Netzwerk-Optimierung
- Adaptive Lernrate