Bias-Variance Tradeoff
バイアス・バリアンスのトレードオフとは、モデルの誤差がバイアス² + バリアンス + 削減不可能な誤差で構成されるという関係であり、複雑さを増すとバイアスは減るがバリアンスは増える。
目的
モデルの複雑さと汎化誤差の関係を理解し、モデル選択の指針を得る。
メカニズム
バイアスは予測と真値の系統的なずれ（未学習）、バリアンスは訓練集合ごとの予測のばらつき（過学習）である。単純なモデルはバイアスが高くバリアンスが低く、複雑なモデルはその逆になる。正則化がバランス点を見つける。
ユースケース
- モデル選択
- 正則化のチューニング
- オーバーフィッティングの分析