Lemmatization

La lemmatisation est le processus linguistique consistant à ramener un mot à son lemme de dictionnaire (p. ex. better → good) ; elle est plus précise que le stemming.

Objectif

Réduit les formes des mots à des lemmes canoniques à partir de dictionnaires et de la partie du discours, garantissant l'exactitude linguistique.

Mécanisme

Détermine le lemme par consultation de dictionnaire associée à l'étiquetage morphosyntaxique. Par exemple, better (adjectif comparatif) → good ; running (participe présent) → run. Elle requiert un étiquetage grammatical et un dictionnaire ; plus lente que le stemming mais plus précise. Fournie par spaCy et NLTK.

Cas d’usage

Analyse TAL précise
Appariement sémantique dans les systèmes de questions-réponses
Prétraitement de la traduction automatique
Désambiguïsation du sens des mots

Exemples

entrée
```
better → good
```
Output
```
Lemma good
```
Requires part-of-speech tagging

Erreurs courantes

Missing part-of-speech tagging leads to wrong lemmas: Use a POS-aware lemmatizer

Termes associés

Le stemming (rétrogradation) est un processus heuristique qui ramène les mots à leur radical (p. ex., running → run), afin que les variations flexionnelles n'affectent pas l'appariement en recherche.

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

References