Stochastic Gradient Descent
SGD approximiert den vollen Gradienten in jedem Schritt durch den Gradienten einer einzelnen Stichprobe oder eines Mini-Batches, senkt die Kosten pro Schritt und fügt Zufälligkeit hinzu, die beim Entkommen aus lokalen Optima hilft.
Zweck
Den zentralen Optimierungsalgorithmus für maschinelles Lernen im großen Maßstab bereitstellen.
Mechanismus
Der volle Gradient ist ∇f = (1/N)∑∇f_i; SGD approximiert ihn durch ∇f_i. Die Varianz erzeugt Rauschen, aber der Erwartungswert gleicht dem wahren Gradienten. Mini-Batches balancieren Varianz und Effizienz. Lernratendegeneration garantiert Konvergenz.
Anwendungsfälle
- Training von Deep Learning
- Optimierung im großen Maßstab
- Online-Lernen