Regularization
正则化在损失函数加参数惩罚项(L1/L2)限制模型复杂度,防止过拟合。
用途
控制模型复杂度,提升泛化能力。
机制
L2(Ridge):λ||w||^2 使参数小但不为零。L1(Lasso):λ||w||_1 产生稀疏参数(特征选择)。弹性网络 αL1+(1-α)L2 兼顾。λ 通过 CV 选择。
用例
- 过拟合防御
- 特征选择
- 模型泛化
正则化在损失函数加参数惩罚项(L1/L2)限制模型复杂度,防止过拟合。
控制模型复杂度,提升泛化能力。
L2(Ridge):λ||w||^2 使参数小但不为零。L1(Lasso):λ||w||_1 产生稀疏参数(特征选择)。弹性网络 αL1+(1-α)L2 兼顾。λ 通过 CV 选择。