Adam Optimizer
Adam combina momentum (primer momento) y RMSProp (segundo momento) con tasa de aprendizaje adaptativa, siendo el optimizador más utilizado en aprendizaje profundo.
Propósito
El optimizador por defecto para entrenamiento de aprendizaje profundo, ajustando adaptativamente la tasa de aprendizaje de cada parámetro.
Mecanismo
Mantiene el primer momento m (momentum) y el segundo momento v (RMSProp) del gradiente, actualiza tras corrección de sesgo: θ ← θ - η * m_hat/(√v_hat + ε). Valores por defecto β1=0.9, β2=0.999. Combina aceleración por momentum con tasa adaptativa.
Casos de uso
- Entrenamiento de aprendizaje profundo
- Optimización de redes neuronales
- Tasa de aprendizaje adaptativa