Stochastic Gradient Descent
El SGD aproxima el gradiente completo en cada paso con el gradiente de una sola muestra o de un mini-lote, reduciendo el coste por paso y añadiendo aleatoriedad que ayuda a escapar de óptimos locales.
Propósito
Proporcionar el algoritmo de optimización central del aprendizaje automático a gran escala.
Mecanismo
El gradiente completo es ∇f = (1/N)∑∇f_i; el SGD lo aproxima con ∇f_i. La varianza introduce ruido, pero la esperanza iguala el gradiente verdadero. Los mini-lotes equilibran varianza y eficiencia. La reducción de la tasa de aprendizaje garantiza la convergencia.
Casos de uso
- Entrenamiento de aprendizaje profundo
- Optimización a gran escala
- Aprendizaje en línea