Tokenization

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

Objectif

Transformer le texte continu en séquences discrètes de tokens pour le traitement et l'analyse en aval.

Mécanisme

L'anglais se découpe par espaces et ponctuation (abréviations et tirets exigent un traitement particulier). Le chinois requiert des algorithmes de segmentation (correspondance maximale, modèles statistiques comme HMM/CRF, modèles profonds comme BERT). La tokenization en sous-mots (BPE, WordPiece) équilibre taille de vocabulaire et couverture.

Cas d’usage

Construction d'index de moteurs de recherche
Prétraitement TALN (tokenization BERT)
Analyse lexicale dans les analyseurs de code
Analyse de variables dans les moteurs de templates

Exemples

entrée
```
I love NLP
```
Output
```
["I","love","NLP"]
```
Whitespace tokenization

Erreurs courantes

Processing Chinese as raw characters without segmentation: Use segmenters such as jieba/THULAC

Termes associés

Un N-gramme est une séquence de N unités consécutives (caractères ou mots) extraites d'un texte, utilisée dans les modèles de langage, la similarité et l'analyse de texte.

Le stemming (rétrogradation) est un processus heuristique qui ramène les mots à leur radical (p. ex., running → run), afin que les variations flexionnelles n'affectent pas l'appariement en recherche.

Les mots vides sont des mots à haute fréquence et faible sémantique (the, is, at, on) couramment filtrés en recherche et en TAL pour réduire le bruit.

Le modèle sac de mots représente le texte comme un vecteur de fréquences de mots non ordonné, ignorant la grammaire et l'ordre des mots ; c'est la représentation fondatrice de la classification et de la recherche de textes.

References