Stochastic Gradient Descent
SGD 每步用单个或小批量样本梯度近似全梯度，降低每步计算代价，引入随机性帮助跳出局部最优。
用途
大规模机器学习训练的核心优化算法。
机制
全梯度 ∇f = (1/N)∑∇f_i，SGD 用 ∇f_i 近似。方差引入噪声但期望等于真梯度。小批量（mini-batch）平衡方差与效率。学习率衰减保证收敛。
用例
- 深度学习训练
- 大规模优化
- 在线学习
SGD 每步用单个或小批量样本梯度近似全梯度，降低每步计算代价，引入随机性帮助跳出局部最优。
大规模机器学习训练的核心优化算法。
全梯度 ∇f = (1/N)∑∇f_i，SGD 用 ∇f_i 近似。方差引入噪声但期望等于真梯度。小批量（mini-batch）平衡方差与效率。学习率衰减保证收敛。