TF-IDF
TF-IDF (Termfrequenz - inverse Dokumentfrequenz) misst, wie wichtig ein Wort für ein Dokument ist: Wörter, die im Dokument häufig, im Korpus aber selten sind, erhalten hohe Gewichte.
Zweck
Inhaltswörter von generischen Funktionswörtern unterscheiden, genutzt für Retrieval-Ranking und Merkmalsgewichtung.
Mechanismus
TF = Häufigkeit eines Wortes im Dokument; IDF = log(N/DF), wobei N die Gesamtdokumentzahl und DF die Zahl der Dokumente mit dem Wort ist. TF-IDF = TF × IDF. Häufige Wörter (the) haben niedriges IDF, seltene hohes.
Anwendungsfälle
- Relevanz-Ranking in Suchmaschinen
- Schlüsselwortextraktion aus Dokumenten
- Merkmalsgewichtung für Textklassifikation
- Inhaltsähnlichkeit in Empfehlungssystemen
Beispiele
- Eingabe
The word "the" appears in all documentsOutputIDF≈0, low weightCommon words get low weights
Häufige Fehler
- Failing to log-transform or normalize TF biases long documents
- Use 1+log(TF) and document length normalization
Verwandte Begriffe
Bag of Words
Das Bag-of-Words-Modell stellt Text als unsortierten Wortfrequenzvektor dar und ignoriert Grammatik und Wortstellung; es ist die grundlegende Repräsentation für Textklassifikation und -retrieval. GLOSSAR
Cosine Similarity
Die Kosinusähnlichkeit misst den Kosinus des Winkels zwischen zwei Vektoren und ignoriert deren Länge; sie wird vielfach für die Ähnlichkeitsberechnung von Textvektoren verwendet. GLOSSAR
Stop Words
Stoppwörter sind hochfrequente, semantisch schwache Wörter (the, is, at, on), die in Suche und NLP üblicherweise herausgefiltert werden, um Rauschen zu reduzieren. GLOSSAR