Regularization
正則化は損失関数にパラメータペナルティ（L1/L2）を加え、モデルの複雑さを抑えて過学習を防ぐ。
目的
モデルの複雑さを制御し、汎化性能を向上させることを目的とする。
メカニズム
L2（Ridge）は λ||w||^2 でパラメータをゼロへ近づけるが、スパース性は生まれない。L1（Lasso）は λ||w||_1 によりスパースなパラメータを誘導し、特徴選択として働く。Elastic Net の αL1+(1-α)L2 は両者を組み合わせる。λ は交差検証で選ぶ。
ユースケース
- 過学習を防ぐこと
- 特徴量を選択するケース
- モデルの汎化