Bias-Variance Tradeoff
Bias-Varianz-Trade-off: Modelfehler = Bias² + Varianz + irreduzibler Fehler; steigende Komplexität senkt den Bias, erhöht aber die Varianz.
Zweck
Verstehen, wie die Modellkomplexität mit dem Generalisierungsfehler zusammenhängt, und die Modellauswahl leiten.
Mechanismus
Bias ist die systematische Abweichung zwischen Vorhersage und Wahrheit (Underfitting); Varianz ist die Schwankung der Vorhersagen über Trainingsmengen hinweg (Overfitting). Einfache Modelle haben hohen Bias und niedrige Varianz, komplexe Modelle umgekehrt. Regularisierung findet den Gleichgewichtspunkt.
Anwendungsfälle
- Modellauswahl
- Tuning der Regularisierung
- Overfitting-Analyse