Bias-Variance Tradeoff
Compromis biais-variance : erreur du modèle = biais² + variance + erreur irréductible ; augmenter la complexité réduit le biais mais accroît la variance.
Objectif
Comprendre comment la complexité du modèle se rapporte à l'erreur de généralisation et guider la sélection de modèles.
Mécanisme
Le biais est l'écart systématique entre prédictions et vérité (sous-apprentissage) ; la variance est la fluctuation des prédictions entre ensembles d'entraînement (surapprentissage). Les modèles simples ont un biais élevé et une faible variance ; les modèles complexes, l'inverse. La régularisation trouve le point d'équilibre.
Cas d’usage
- Sélection de modèles
- Réglage de la régularisation
- Analyse du surapprentissage