Bag of Words
Das Bag-of-Words-Modell stellt Text als unsortierten Wortfrequenzvektor dar und ignoriert Grammatik und Wortstellung; es ist die grundlegende Repräsentation für Textklassifikation und -retrieval.
Zweck
Wandelt Text in Vektoren fester Dimension um, damit Machine-Learning-Algorithmen ihn verarbeiten können.
Mechanismus
Man baut ein Vokabular V auf, zählt das Vorkommen jedes Wortes in jedem Dokument und gibt einen |V|-dimensionalen Vektor aus. Wortstellung und Grammatik werden ignoriert. Oft mit TF-IDF-Gewichtung und Stoppwort-Filterung kombiniert. Die Dimension entspricht der Vokabulargröße.
Anwendungsfälle
- Textklassifikation (Naive Bayes)
- Spam-Erkennung
- Sentiment-Analyse
- Dokument-Clustering
Beispiele
- Eingabe
"the cat sat" + "the dog ran"OutputWord-frequency vectorIgnores word order
Häufige Fehler
- Ignoring word order loses semantic meaning
- Use n-gram or deep models to preserve order
Verwandte Begriffe
TF-IDF
TF-IDF (Termfrequenz - inverse Dokumentfrequenz) misst, wie wichtig ein Wort für ein Dokument ist: Wörter, die im Dokument häufig, im Korpus aber selten sind, erhalten hohe Gewichte. GLOSSAR
Tokenization
Tokenisierung zerlegt Text in eine Folge semantischer Einheiten (Wörter, Subwörter, Zeichen); sie ist ein grundlegender Schritt in NLP und Suchmaschinen. GLOSSAR
Cosine Similarity
Die Kosinusähnlichkeit misst den Kosinus des Winkels zwischen zwei Vektoren und ignoriert deren Länge; sie wird vielfach für die Ähnlichkeitsberechnung von Textvektoren verwendet. GLOSSAR
N-gram
Ein N-Gramm ist eine Folge von N aufeinanderfolgenden Einheiten (Zeichen oder Wörter), aus einem Text gewonnen, verwendet in Sprachmodellen, Ähnlichkeit und Textanalyse. GLOSSAR