Stop Words
Stoppwörter sind hochfrequente, semantisch schwache Wörter (the, is, at, on), die in Suche und NLP üblicherweise herausgefiltert werden, um Rauschen zu reduzieren.
Zweck
Entfernt Funktionswörter mit geringem Bedeutungsbeitrag und verbessert Präzision und Effizienz der Suche.
Mechanismus
Es wird eine vordefinierte Stoppwortliste verwendet (z. B. 179 englische Wörter in NLTK). Beim Indexieren und Abfragen werden Stoppwörter übersprungen. Hinweis: Bei Phrasensuchen („to be or not to be“) tragen Stoppwörter Bedeutung und müssen bleiben. Listen unterscheiden sich je nach Domäne.
Anwendungsfälle
- Indexkompression in Suchmaschinen
- TF-IDF-Berechnung
- Merkmalsauswahl für Textklassifikation
- Vorverarbeitung der Schlüsselwortextraktion
Beispiele
- Eingabe
the quick brown foxOutputquick brown foxRemoves "the"
Häufige Fehler
- Filtering stop words breaks phrase semantics
- Keep stop words in phrase queries
Verwandte Begriffe
Tokenization
Tokenisierung zerlegt Text in eine Folge semantischer Einheiten (Wörter, Subwörter, Zeichen); sie ist ein grundlegender Schritt in NLP und Suchmaschinen. GLOSSAR
TF-IDF
TF-IDF (Termfrequenz - inverse Dokumentfrequenz) misst, wie wichtig ein Wort für ein Dokument ist: Wörter, die im Dokument häufig, im Korpus aber selten sind, erhalten hohe Gewichte. GLOSSAR
Stemming
Stemming ist ein heuristischer Prozess, der Wörter auf ihren Stamm reduziert (z. B. running → run), sodass Flexionsvarianten das Retrieval-Matching nicht beeinträchtigen. GLOSSAR