K-Nearest Neighbors
Die KNN-Klassifikation/-Regression findet die K nächsten Trainingsbeispiele zu einer neuen Probe, stimmt für die Klassifikation ab und mittelt für die Regression — ohne Trainingsphase.
Zweck
Einen einfachen nichtparametrischen Lazy-Learning-Algorithmus liefern, geeignet für niedrige Dimensionen und kleine Datensätze.
Mechanismus
Man findet die K nächsten Nachbarn eines Abfragepunkts (euklidisch, Manhattan oder andere Distanzen); die Klassifikation nimmt Mehrheitsentscheid, die Regression den Mittel- oder gewichteten Mittelwert. Eine Distanzmetrik und die Wahl von K sind nötig. KD-Bäume beschleunigen niedrigdimensionale Anfragen.
Anwendungsfälle
- Klassifikation und Regression
- Empfehlungssysteme
- Mustererkennung