N-gram Hash
Das N-Gramm-Hashing wandelt die N-Gramm-Menge eines Textes (Folgen von N Zeichen oder Wörtern) in einen Fingerabdruck fester Länge für schnelle ungefähre Textvergleiche um.
Zweck
Textähnlichkeit schnell beurteilen, wenn exakte Übereinstimmung unnötig ist, etwa bei Deduplizierung, Rechtschreibkorrektur und unscharfer Suche.
Mechanismus
Der Text wird in eine N-Gramm-Menge zerlegt; jedes N-Gramm wird gehasht und die Ergebnisse (Vereinigung, Bitmap oder Zähler) zu einem Fingerabdruck fester Länge aggregiert. Die Jaccard-Ähnlichkeit zweier Texte lässt sich aus den Fingerabdrücken schätzen.
Anwendungsfälle
- Ungefähre Textdeduplizierung
- Kandidatengewinnung für die Rechtschreibkorrektur
- Unscharfe Zuordnung in Suchmaschinen