K-Nearest Neighbors
La classification/régression KNN trouve les K échantillons d'apprentissage les plus proches d'un nouvel échantillon, votant pour classifier et moyennant pour régresser, sans phase d'entraînement.
Objectif
Fournir un algorithme simple d'apprentissage paresseux non paramétrique, adapté aux faibles dimensions et petits jeux de données.
Mécanisme
On cherche les K plus proches voisins d'un point requête (distance euclidienne, Manhattan, etc.) ; la classification prend un vote majoritaire, la régression la moyenne ou une moyenne pondérée. Une métrique de distance et le choix de K sont requis. Les KD-arbres accélèrent les requêtes en basse dimension.
Cas d’usage
- Classification et régression
- Systèmes de recommandation
- Reconnaissance de formes