Gradient Boosting
勾配ブースティング（Gradient Boosting）は、前ラウンドの損失の負の勾配に合わせて弱学習器を反復的に訓練し、損失を漸進的に減少させる。強力なアンサンブル手法である。
目的
構造化データにおいて最強クラスの予測手法（XGBoost/LightGBM）を提供する。
メカニズム
F_0 を定数で初期化する。ラウンド m では負の勾配 r_i=-∂L/∂F(x_i) を計算し、r に合わせる弱モデル h_m を訓練し、F_m=F_{m-1}+ηh_m で更新する。XGBoost は正則化と 2 次情報を追加する。
ユースケース
- 構造化データの予測
- 検索ランキング
- クリック率予測