Tokenization
Tokenisierung zerlegt Text in eine Folge semantischer Einheiten (Wörter, Subwörter, Zeichen); sie ist ein grundlegender Schritt in NLP und Suchmaschinen.
Zweck
Kontinuierlichen Text in diskrete Tokenfolgen für die nachgelagerte Verarbeitung und Analyse umwandeln.
Mechanismus
Englisch wird an Leer- und Satzzeichen getrennt (Abkürzungen und Bindestriche brauchen Sonderbehandlung). Chinesisch erfordert Segmentierungsalgorithmen (maximale Übereinstimmung, statistische Modelle wie HMM/CRF, Deep-Modelle wie BERT). Subword-Tokenisierung (BPE, WordPiece) balanciert Vokabulargröße gegen Abdeckung.
Anwendungsfälle
- Indexaufbau in Suchmaschinen
- NLP-Vorverarbeitung (BERT-Tokenisierung)
- Lexikalische Analyse in Code-Analysatoren
- Variablenanalyse in Template-Engines
Beispiele
- Eingabe
I love NLPOutput["I","love","NLP"]Whitespace tokenization
Häufige Fehler
- Processing Chinese as raw characters without segmentation
- Use segmenters such as jieba/THULAC
Verwandte Begriffe
N-gram
Ein N-Gramm ist eine Folge von N aufeinanderfolgenden Einheiten (Zeichen oder Wörter), aus einem Text gewonnen, verwendet in Sprachmodellen, Ähnlichkeit und Textanalyse. GLOSSAR
Stemming
Stemming ist ein heuristischer Prozess, der Wörter auf ihren Stamm reduziert (z. B. running → run), sodass Flexionsvarianten das Retrieval-Matching nicht beeinträchtigen. GLOSSAR
Stop Words
Stoppwörter sind hochfrequente, semantisch schwache Wörter (the, is, at, on), die in Suche und NLP üblicherweise herausgefiltert werden, um Rauschen zu reduzieren. GLOSSAR
Bag of Words
Das Bag-of-Words-Modell stellt Text als unsortierten Wortfrequenzvektor dar und ignoriert Grammatik und Wortstellung; es ist die grundlegende Repräsentation für Textklassifikation und -retrieval. GLOSSAR