Gradient Boosting
梯度提升迭代训练弱学习器拟合前一轮残差的负梯度，逐步减小损失，是强集成方法。
用途
结构化数据上最强的预测方法之一（XGBoost/LightGBM）。
机制
初始化 F_0=常数。第 m 轮：计算负梯度 r_i=-∂L/∂F(x_i)，训练弱模型 h_m 拟合 r，更新 F_m=F_{m-1}+ηh_m。XGBoost 加正则化与二阶信息。
用例
- 结构化数据预测
- 搜索排序
- 点击率预测
梯度提升迭代训练弱学习器拟合前一轮残差的负梯度，逐步减小损失，是强集成方法。
结构化数据上最强的预测方法之一（XGBoost/LightGBM）。
初始化 F_0=常数。第 m 轮：计算负梯度 r_i=-∂L/∂F(x_i)，训练弱模型 h_m 拟合 r，更新 F_m=F_{m-1}+ηh_m。XGBoost 加正则化与二阶信息。