N-gram Hash
N-gramハッシュは、テキストのN-gram集合(N文字またはN単語の連なり)を固定長フィンガープリントに変換し、高速な近似テキスト比較を可能にする。
目的
完全一致が不要な場面、たとえば重複排除やスペル訂正、あいまい検索でテキスト類似度を素早く判定する。
メカニズム
テキストをスライドさせてN-gram集合を作り、各N-gramをハッシュ化して結果(和集合、ビットマップ、またはカウント)を固定長フィンガープリントに集約する。2つのテキストのJaccard類似度をフィンガープリントから推定できる。
ユースケース
- 近似テキストの重複排除
- スペル訂正の候補検索
- 検索エンジンのあいまいマッチング