Adam Optimizer
Adam はモメンタム（一次モーメント）と RMSProp（二次モーメント）の適応学習率を組み合わせた、深層学習で最も多用される最適化器である。
目的
深層学習訓練のデフォルト最適化器であり、各パラメータの学習率を適応的に調整する。
メカニズム
勾配の一次モーメント m（モメンタム）と二次モーメント v（RMSProp）を維持し、バイアス補正後更新：θ ← θ - η * m_hat/(√v_hat + ε)。デフォルト β1=0.9, β2=0.999。モメンタム加速と適応学習率を組み合わせる。
ユースケース
- ディープラーニングの学習
- ニューラルネットワーク最適化
- アダプティブ学習率の調整