Gradient Boosting
El gradient boosting entrena iterativamente aprendices débiles para ajustar el negativo del gradiente de la pérdida de la ronda anterior, reduciendo la pérdida progresivamente; es un potente método de ensamble.
Propósito
Proporcionar uno de los métodos de predicción más potentes sobre datos estructurados (XGBoost/LightGBM).
Mecanismo
Se inicializa F_0 a una constante. Ronda m: se calculan los gradientes negativos r_i=-∂L/∂F(x_i), se entrena un modelo débil h_m para ajustar r y se actualiza F_m=F_{m-1}+ηh_m. XGBoost añade regularización e información de segundo orden.
Casos de uso
- Predicción sobre datos estructurados
- Ranking de búsqueda
- Predicción de tasa de clics