Lemmatization

Lemmatisierung ist der sprachliche Prozess, ein Wort auf sein Wörterbuch-Lemma zurückzuführen (z. B. better → good); sie ist genauer als Stemming.

Zweck

Führt Wortformen anhand von Wörterbüchern und Wortarten zu kanonischen Lemmata zurück und gewährleistet sprachliche Korrektheit.

Mechanismus

Bestimmt das Lemma durch Wörterbuchnachschlag plus Wortart-Tagging. Beispielsweise better (Komparativ) → good; running (Partizip Präsens) → run. Erfordert POS-Tagging und Wörterbuchunterstützung; langsamer als Stemming, aber genauer. Wird von spaCy und NLTK bereitgestellt.

Anwendungsfälle

Präzise NLP-Analyse
Semantisches Matching in Frage-Antwort-Systemen
Vorverarbeitung maschineller Übersetzung
Wortsinn-Disambiguierung

Beispiele

Eingabe
```
better → good
```
Output
```
Lemma good
```
Requires part-of-speech tagging

Häufige Fehler

Missing part-of-speech tagging leads to wrong lemmas: Use a POS-aware lemmatizer