Regularization
Regularisierung fügt der Verlustfunktion eine Parameterstrafe (L1/L2) hinzu, um die Modellkomplexität zu begrenzen und Overfitting zu verhindern.
Zweck
Kontrolle der Modellkomplexität und Verbesserung der Generalisierung.
Mechanismus
L2 (Ridge): λ||w||^2 schrumpft Parameter Richtung null ohne Sparsität. L1 (Lasso): λ||w||_1 erzeugt sparse Parameter (Merkmalsauswahl). Das Elastic Net αL1+(1-α)L2 kombiniert beide. λ wird per Kreuzvalidierung gewählt.
Anwendungsfälle
- Schutz vor Overfitting
- Merkmalsauswahl
- Generalisierung des Modells