Gradient Descent
勾配降下法（Gradient Descent）は負の勾配方向に x_{k+1}=x_k - η∇f(x_k) と反復して関数の最小値を求める、最も基本的な最適化アルゴリズムである。
目的
制約なし最適化の基本アルゴリズムと機械学習訓練の中核を提供する。
メカニズム
負の勾配は最急降下方向である。学習率 η が大きすぎると振動して発散し、小さすぎると収束が遅い。派生としてモメンタム、ネステロフ加速、適応学習率（AdaGrad、Adam）がある。収束は凸関数で O(1/T)、強凸関数で O(e^(-T)) である。
ユースケース
- ML モデルの訓練
- 制約なしのオプティマイゼーション
- ディープラーニング