Adam Optimizer
Adam 结合动量（一阶矩）与 RMSProp（二阶矩）自适应学习率，是深度学习最常用优化器。
用途
深度学习训练的默认优化器，自适应调节各参数学习率。
机制
维护梯度一阶矩 m（动量）与二阶矩 v（RMSProp），偏差修正后更新：θ ← θ - η * m_hat/(√v_hat + ε)。β1=0.9, β2=0.999 默认。结合动量加速与自适应学习率。
用例
- 深度学习训练
- 神经网络优化
- 自适应学习率
Adam 结合动量（一阶矩）与 RMSProp（二阶矩）自适应学习率，是深度学习最常用优化器。
深度学习训练的默认优化器，自适应调节各参数学习率。
维护梯度一阶矩 m（动量）与二阶矩 v（RMSProp），偏差修正后更新：θ ← θ - η * m_hat/(√v_hat + ε)。β1=0.9, β2=0.999 默认。结合动量加速与自适应学习率。