Stop Words

Les mots vides sont des mots à haute fréquence et faible sémantique (the, is, at, on) couramment filtrés en recherche et en TAL pour réduire le bruit.

Objectif

Retire les mots fonctionnels qui contribuent peu au sens, améliorant précision et efficacité de la recherche.

Mécanisme

On utilise une liste prédéfinie de mots vides (p. ex., 179 mots anglais dans NLTK). Ils sont ignorés à l'indexation et à la requête. Attention : dans les recherches de phrases (« to be or not to be »), les mots vides portent du sens et doivent être conservés. Les listes varient selon le domaine.

Cas d’usage

Compression d'index des moteurs de recherche
Calcul du TF-IDF
Sélection de caractéristiques pour la classification de textes
Prétraitement d'extraction de mots-clés

Exemples

entrée
```
the quick brown fox
```
Output
```
quick brown fox
```
Removes "the"

Erreurs courantes

Filtering stop words breaks phrase semantics: Keep stop words in phrase queries

Termes associés

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

TF-IDF (fréquence de terme - fréquence inverse de document) mesure l'importance d'un mot pour un document : les mots fréquents dans le document mais rares dans le corpus reçoivent des poids élevés.

Le stemming (rétrogradation) est un processus heuristique qui ramène les mots à leur radical (p. ex., running → run), afin que les variations flexionnelles n'affectent pas l'appariement en recherche.

References