Adam Optimizer
Adam combine le momentum (premier moment) et RMSProp (second moment) avec taux d'apprentissage adaptatif, l'optimiseur le plus utilisé en apprentissage profond.
Objectif
L'optimiseur par défaut pour l'entraînement en apprentissage profond, ajustant adaptativement le taux d'apprentissage de chaque paramètre.
Mécanisme
Maintient le premier moment m (momentum) et le second moment v (RMSProp) du gradient, met à jour après correction de biais : θ ← θ - η * m_hat/(√v_hat + ε). Valeurs par défaut β1=0.9, β2=0.999. Combine l'accélération par momentum avec taux adaptatif.
Cas d’usage
- Entraînement en apprentissage profond
- Optimisation de réseaux de neurones
- Taux d'apprentissage adaptatif