Regularization
La régularisation ajoute une pénalité de paramètres (L1/L2) à la fonction de perte pour limiter la complexité du modèle et prévenir le surapprentissage.
Objectif
Contrôler la complexité du modèle et améliorer la généralisation.
Mécanisme
L2 (Ridge) : λ||w||^2 contracte les paramètres vers zéro sans sparsité. L1 (Lasso) : λ||w||_1 induit des paramètres parcimonieux (sélection de caractéristiques). L’elastic net αL1+(1-α)L2 combine les deux. λ est choisi par validation croisée.
Cas d’usage
- Défense contre le surapprentissage
- Sélection de caractéristiques
- Généralisation du modèle