Bag of Words

Le modèle sac de mots représente le texte comme un vecteur de fréquences de mots non ordonné, ignorant la grammaire et l'ordre des mots ; c'est la représentation fondatrice de la classification et de la recherche de textes.

Objectif

Convertit le texte en vecteurs de dimension fixe afin que les algorithmes d'apprentissage automatique puissent le traiter.

Mécanisme

On construit un vocabulaire V, on compte les occurrences de chaque mot dans chaque document et on produit un vecteur de dimension |V|. L'ordre des mots et la grammaire sont ignorés. Souvent combiné à la pondération TF-IDF et au filtrage des mots vides. La dimension égale la taille du vocabulaire.

Cas d’usage

Classification de textes (Naive Bayes)
Détection de spam
Analyse de sentiments
Clustering de documents

Exemples

entrée

"the cat sat" + "the dog ran"

Output

Word-frequency vector

Ignores word order

Erreurs courantes

Ignoring word order loses semantic meaning: Use n-gram or deep models to preserve order

Termes associés

TF-IDF (fréquence de terme - fréquence inverse de document) mesure l'importance d'un mot pour un document : les mots fréquents dans le document mais rares dans le corpus reçoivent des poids élevés.

La tokenization découpe le texte en une séquence d'unités sémantiques (mots, sous-mots, caractères) ; c'est une étape fondatrice du TALN et des moteurs de recherche.

Cosine Similarity

La similarité cosinus mesure le cosinus de l'angle entre deux vecteurs, en ignorant leur longueur ; elle est largement utilisée pour le calcul de similarité entre vecteurs de texte.

Un N-gramme est une séquence de N unités consécutives (caractères ou mots) extraites d'un texte, utilisée dans les modèles de langage, la similarité et l'analyse de texte.

References