K-Nearest Neighbors
K 近傍法（K-Nearest Neighbors、KNN）は、新しいサンプルに最も近い K 個の学習サンプルを探し、分類では投票、回帰では平均を取る。学習フェーズを持たない。
目的
低次元・小規模データに適した、シンプルなノンパラメトリックな怠惰学習アルゴリズムを提供する。
メカニズム
クエリ点の K 近傍（ユークリッド、マンハッタンなどの距離）を探す。分類は多数決、回帰は平均または加重平均を取る。距離尺度と K の選択が必要である。KD 木が低次元の照会を高速化する。
ユースケース
- 分類や回帰のタスク
- レコメンダーシステム
- パターン認識