Regularization
La regularización añade una penalización de parámetros (L1/L2) a la función de pérdida para limitar la complejidad del modelo y prevenir el sobreajuste.
Propósito
Controlar la complejidad del modelo y mejorar la generalización.
Mecanismo
L2 (Ridge): λ||w||^2 contrae los parámetros hacia cero sin dispersión. L1 (Lasso): λ||w||_1 induce parámetros dispersos (selección de características). Elastic net αL1+(1-α)L2 combina ambos. λ se elige por validación cruzada.
Casos de uso
- Defensa contra el sobreajuste
- Selección de características
- Generalización del modelo