Gradient Boosting
Le gradient boosting entraîne itérativement des apprenants faibles pour ajuster le négatif du gradient de la perte de la ronde précédente, réduisant progressivement la perte ; c'est une puissante méthode d'ensemble.
Objectif
Fournir l'une des méthodes de prédiction les plus puissantes sur données structurées (XGBoost/LightGBM).
Mécanisme
On initialise F_0 à une constante. Ronde m : on calcule les gradients négatifs r_i=-∂L/∂F(x_i), on entraîne un modèle faible h_m pour ajuster r, et on met à jour F_m=F_{m-1}+ηh_m. XGBoost ajoute régularisation et information du second ordre.
Cas d’usage
- Prédiction sur données structurées
- Classement de recherche
- Prédiction de taux de clic