Gradient Descent
El descenso por gradiente itera a lo largo del gradiente negativo x_{k+1}=x_k - η∇f(x_k) para hallar el mínimo de una función; es el algoritmo de optimización más fundamental.
Propósito
Proporcionar el algoritmo básico de optimización sin restricciones y el núcleo del entrenamiento de aprendizaje automático.
Mecanismo
El gradiente negativo es la dirección de máximo descenso. Un ritmo de aprendizaje η demasiado grande oscila y diverge; uno demasiado pequeño converge despacio. Variantes: momentum, aceleración de Nesterov, ritmos adaptativos (AdaGrad, Adam). La convergencia es O(1/T) para funciones convexas y O(e^(-T)) para fuertemente convexas.
Casos de uso
- Entrenamiento de aprendizaje automático
- Optimización sin restricciones
- Aprendizaje profundo