TF-IDF

TF-IDF (fréquence de terme - fréquence inverse de document) mesure l'importance d'un mot pour un document : les mots fréquents dans le document mais rares dans le corpus reçoivent des poids élevés.

Objectif

Distinguer les mots de contenu des mots fonctionnels génériques, utilisé pour le classement en recherche et la pondération de caractéristiques.

Mécanisme

TF = nombre d'occurrences d'un mot dans un document ; IDF = log(N/DF), où N est le nombre total de documents et DF le nombre de documents contenant le mot. TF-IDF = TF × IDF. Les mots courants (the) ont un IDF faible ; les mots rares, un IDF élevé.

Cas d’usage

Classement de pertinence des moteurs de recherche
Extraction de mots-clés de documents
Pondération de caractéristiques pour la classification de texte
Similarité de contenu dans les systèmes de recommandation

Exemples

entrée

The word "the" appears in all documents

Output

IDF≈0, low weight

Common words get low weights

Erreurs courantes

Failing to log-transform or normalize TF biases long documents: Use 1+log(TF) and document length normalization

Termes associés

Le modèle sac de mots représente le texte comme un vecteur de fréquences de mots non ordonné, ignorant la grammaire et l'ordre des mots ; c'est la représentation fondatrice de la classification et de la recherche de textes.

Cosine Similarity

La similarité cosinus mesure le cosinus de l'angle entre deux vecteurs, en ignorant leur longueur ; elle est largement utilisée pour le calcul de similarité entre vecteurs de texte.

Les mots vides sont des mots à haute fréquence et faible sémantique (the, is, at, on) couramment filtrés en recherche et en TAL pour réduire le bruit.

References