Backpropagation
La retropropagación aplica la regla de la cadena para calcular, capa a capa desde la salida hacia la entrada, el gradiente de la pérdida respecto a los parámetros; es el núcleo del entrenamiento de redes neuronales.
Propósito
Calcular eficientemente los gradientes de las redes neuronales, haciendo viable el entrenamiento del aprendizaje profundo.
Mecanismo
La propagación hacia adelante calcula las activaciones de cada capa. La retropropagación parte de la pérdida y propaga los gradientes capa a capa con la regla de la cadena: ∂L/∂w = ∂L/∂y * ∂y/∂w. La multiplicación de matrices permite un cálculo paralelo eficiente. Su complejidad es comparable a la pasada hacia adelante.
Casos de uso
- Entrenamiento de redes neuronales
- Aprendizaje profundo
- Cálculo de gradientes