Stochastic Gradient Descent
SGD は各ステップで全勾配を単一サンプルやミニバッチの勾配で近似し、ステップあたりのコストを下げつつ、局所最適解からの脱出に役立つランダム性を加える。
目的
大規模機械学習の中核的な最適化アルゴリズムを提供する。
メカニズム
全勾配は ∇f = (1/N)∑∇f_i で、SGD は ∇f_i で近似する。分散がノイズを生むが、期待値は真の勾配に等しくなる。ミニバッチは分散と効率のバランスを取る。学習率の減衰が収束を保証する。
ユースケース
- ディープラーニングの学習
- スケールの大きい最適化
- オンライン学習