Gradient Descent
梯度下降沿负梯度方向迭代 x_{k+1}=x_k - η∇f(x_k) 寻找函数极小值，是最基础优化算法。
用途
无约束优化的基础算法，机器学习训练的核心。
机制
负梯度是函数下降最快方向。学习率 η 太大震荡发散，太小收敛慢。变体：动量、Nesterov 加速、自适应学习率（AdaGrad、Adam）。凸函数收敛 O(1/T)，强凸 O(e^(-T))。
用例
- 机器学习训练
- 无约束优化
- 深度学习
梯度下降沿负梯度方向迭代 x_{k+1}=x_k - η∇f(x_k) 寻找函数极小值，是最基础优化算法。
无约束优化的基础算法，机器学习训练的核心。
负梯度是函数下降最快方向。学习率 η 太大震荡发散，太小收敛慢。变体：动量、Nesterov 加速、自适应学习率（AdaGrad、Adam）。凸函数收敛 O(1/T)，强凸 O(e^(-T))。