Gradient Boosting
Gradient Boosting trainiert iterativ schwache Lerner, um den negativen Gradienten des Verlusts der vorherigen Runde anzupassen, und reduziert den Verlust schrittweise; es ist eine leistungsfähige Ensemble-Methode.
Zweck
Eine der stärksten Vorhersagemethoden auf strukturierten Daten (XGBoost/LightGBM) bereitstellen.
Mechanismus
F_0 wird mit einer Konstanten initialisiert. Runde m: die negativen Gradienten r_i=-∂L/∂F(x_i) werden berechnet, ein schwaches Modell h_m wird trainiert, um r anzupassen, und F_m=F_{m-1}+ηh_m aktualisiert. XGBoost ergänzt Regularisierung und Information zweiter Ordnung.
Anwendungsfälle
- Vorhersage auf strukturierten Daten
- Suchranking
- Klickrate-Vorhersage