Gradient Descent
La descente de gradient itère le long du gradient négatif x_{k+1}=x_k - η∇f(x_k) pour trouver le minimum d'une fonction ; c'est l'algorithme d'optimisation le plus fondamental.
Objectif
Fournir l'algorithme de base de l'optimisation sans contrainte et le cœur de l'entraînement en apprentissage automatique.
Mécanisme
Le gradient négatif est la direction de plus forte descente. Un taux d'apprentissage η trop grand oscille et diverge ; trop petit, il converge lentement. Variantes : momentum, accélération de Nesterov, taux adaptatifs (AdaGrad, Adam). La convergence est en O(1/T) pour les fonctions convexes et O(e^(-T)) pour les fortement convexes.
Cas d’usage
- Entraînement en apprentissage automatique
- Optimisation sans contrainte
- Apprentissage profond