N-gram
Ein N-Gramm ist eine Folge von N aufeinanderfolgenden Einheiten (Zeichen oder Wörter), aus einem Text gewonnen, verwendet in Sprachmodellen, Ähnlichkeit und Textanalyse.
Zweck
Zerlegt Text in Segmente fester Länge und erleichtert so Statistik und Vergleiche.
Mechanismus
Ein Fenster der Größe N wird mit Schritt 1 über Zeichen oder Wörter geschoben. Beispielsweise sind die Zeichen-2-Gramme von „hello“: he, el, ll, lo. Genutzt in N-Gramm-Sprachmodellen (Vorhersage der Wahrscheinlichkeit der nächsten Einheit) und in Jaccard/Dice-Ähnlichkeit.
Anwendungsfälle
- N-Gramm-Sprachmodelle
- Rechtschreibkorrektur (Zeichen-N-Gramm-Ähnlichkeit)
- Textklassifikation und Spracherkennung
- Schlüsselwortextraktion
Beispiele
- Eingabe
"hello" 2-gramsOutputhe, el, ll, loCharacter bigrams
Häufige Fehler
- Too-large N causes sparsity and overfitting
- Choose N based on corpus size (usually 2-3)
Verwandte Begriffe
Tokenization
Tokenisierung zerlegt Text in eine Folge semantischer Einheiten (Wörter, Subwörter, Zeichen); sie ist ein grundlegender Schritt in NLP und Suchmaschinen. GLOSSAR
TF-IDF
TF-IDF (Termfrequenz - inverse Dokumentfrequenz) misst, wie wichtig ein Wort für ein Dokument ist: Wörter, die im Dokument häufig, im Korpus aber selten sind, erhalten hohe Gewichte. GLOSSAR
Cosine Similarity
Die Kosinusähnlichkeit misst den Kosinus des Winkels zwischen zwei Vektoren und ignoriert deren Länge; sie wird vielfach für die Ähnlichkeitsberechnung von Textvektoren verwendet. GLOSSAR