Stochastic Gradient Descent
Le SGD approxime à chaque pas le gradient complet par le gradient d'un seul échantillon ou d'un mini-lot, réduisant le coût par pas et ajoutant un aléa qui aide à échapper aux optima locaux.
Objectif
Fournir l'algorithme d'optimisation central de l'apprentissage automatique à grande échelle.
Mécanisme
Le gradient complet est ∇f = (1/N)∑∇f_i ; le SGD l'approxime par ∇f_i. La variance introduit du bruit, mais l'espérance égale le vrai gradient. Les mini-lots équilibrent variance et efficacité. La décroissance du taux d'apprentissage garantit la convergence.
Cas d’usage
- Entraînement de l'apprentissage profond
- Optimisation à grande échelle
- Apprentissage en ligne