Gradient Descent
Das Gradientenabstiegsverfahren iteriert entlang des negativen Gradienten x_{k+1}=x_k - η∇f(x_k), um ein Minimum einer Funktion zu finden; es ist der grundlegendste Optimierungsalgorithmus.
Zweck
Den Basisalgorithmus der unbeschränkten Optimierung und den Kern des Trainings maschinellen Lernens bereitstellen.
Mechanismus
Der negative Gradient ist die Richtung des steilsten Abstiegs. Eine zu große Lernrate η oszilliert und divergiert; eine zu kleine konvergiert langsam. Varianten: Momentum, Nesterov-Beschleunigung, adaptive Lernraten (AdaGrad, Adam). Konvergenz ist O(1/T) bei konvexen und O(e^(-T)) bei stark konvexen Funktionen.
Anwendungsfälle
- Training maschinellen Lernens
- Unbeschränkte Optimierung
- Deep Learning