Backpropagation
Die Backpropagation wendet die Kettenregel an, um den Gradienten der Verlustfunktion bezüglich der Parameter schichtweise vom Ausgang zum Eingang zu berechnen; sie ist der Kern des Trainings neuronaler Netze.
Zweck
Gradienten neuronaler Netze effizient berechnen und so Deep-Learning-Training praktikabel machen.
Mechanismus
Die Vorwärtspropagation berechnet die Aktivierungen jeder Schicht. Die Backpropagation startet beim Verlust und propagiert die Gradienten mit der Kettenregel schichtweise: ∂L/∂w = ∂L/∂y * ∂y/∂w. Matrixmultiplikation ermöglicht effiziente Parallelberechnung. Ihre Komplexität entspricht dem Vorwärtsdurchlauf.
Anwendungsfälle
- Training neuronaler Netze
- Deep Learning
- Gradientenberechnung