N-gram

Un N-gramme est une séquence de N unités consécutives (caractères ou mots) extraites d'un texte, utilisée dans les modèles de langage, la similarité et l'analyse de texte.

Objectif

Décomposer le texte en segments de longueur fixe, facilitant statistiques et comparaisons.

Mécanisme

On fait glisser une fenêtre de taille N avec un pas de 1 sur les caractères ou les mots. Par exemple, les 2-grammes de caractères de « hello » sont he, el, ll, lo. Utilisé dans les modèles de langage N-grammes (prédire la probabilité de l'unité suivante) et la similarité de Jaccard/Dice.

Cas d’usage

Modèles de langage N-grammes
Correction orthographique (similarité de n-grammes de caractères)
Classification de texte et détection de langue
Extraction de mots-clés

Exemples

entrée
```
"hello" 2-grams
```
Output
```
he, el, ll, lo
```
Character bigrams

Erreurs courantes

Too-large N causes sparsity and overfitting: Choose N based on corpus size (usually 2-3)

Termes associés

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

TF-IDF (fréquence de terme - fréquence inverse de document) mesure l'importance d'un mot pour un document : les mots fréquents dans le document mais rares dans le corpus reçoivent des poids élevés.

Cosine Similarity

La similarité cosinus mesure le cosinus de l'angle entre deux vecteurs, en ignorant leur longueur ; elle est largement utilisée pour le calcul de similarité entre vecteurs de texte.

References