Stemming

Le stemming (rétrogradation) est un processus heuristique qui ramène les mots à leur radical (p. ex., running → run), afin que les variations flexionnelles n'affectent pas l'appariement en recherche.

Objectif

Fait correspondre différentes formes de mots au même radical, améliorant le rappel de recherche.

Mécanisme

Utilise des règles heuristiques (p. ex., l'algorithme de Porter) pour retirer des suffixes comme ing, ed, s et ly. Sans garantie linguistique (p. ex., universe → univers, university → univers), mais rapide et déterministe. Snowball en est une version améliorée.

Cas d’usage

Fusion des formes de mots dans les moteurs de recherche
Réduction de dimensionnalité des caractéristiques en classification de textes
Expansion de requêtes en recherche d'information
Comptage de fréquence des mots

Exemples

entrée
```
running → run
```
Output
```
Stem run
```
Porter algorithm

Erreurs courantes

Over-stemming (e.g., business → bus): Use dictionary-assisted lemmatization

Termes associés

La lemmatisation est le processus linguistique consistant à ramener un mot à son lemme de dictionnaire (p. ex. better → good) ; elle est plus précise que le stemming.

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

Les mots vides sont des mots à haute fréquence et faible sémantique (the, is, at, on) couramment filtrés en recherche et en TAL pour réduire le bruit.

References