Backpropagation
La rétropropagation applique la règle de la chaîne pour calculer, couche par couche de la sortie vers l'entrée, le gradient de la perte par rapport aux paramètres ; c'est le cœur de l'entraînement des réseaux de neurones.
Objectif
Calculer efficacement les gradients des réseaux de neurones, rendant l'entraînement de l'apprentissage profond réalisable.
Mécanisme
La propagation directe calcule les activations de chaque couche. La rétropropagation part de la perte et propage les gradients couche par couche avec la règle de la chaîne : ∂L/∂w = ∂L/∂y * ∂y/∂w. La multiplication matricielle permet un calcul parallèle efficace. Sa complexité est comparable à celle de la passe directe.
Cas d’usage
- Entraînement de réseaux de neurones
- Apprentissage profond
- Calcul de gradients