Random Forest
ランダムフォレストは、多数の決定木をブートストラップサンプルとランダムな特徴量サブセットでそれぞれ学習させ、予測時に投票／平均を取ることで分散を減らすアンサンブルである。
目的
決定木の過学習を抑えた、堅牢で使いやすいアンサンブルを提供する。
メカニズム
各木はブートストラップサンプルで学習し、各分割はランダムな特徴量サブセット（√p）のみを考慮する。予測は分類では多数決、回帰では平均を取る。Out-of-bag誤差が汎化誤差を推定する。
ユースケース
- 分類・回帰タスクへの適用
- 特徴量インポータンスの算出
- ロバストな予測