コンテンツへスキップ
uencoder

N-gram Hash

N-gramハッシュは、テキストのN-gram集合(N文字またはN単語の連なり)を固定長フィンガープリントに変換し、高速な近似テキスト比較を可能にする。

目的

完全一致が不要な場面、たとえば重複排除やスペル訂正、あいまい検索でテキスト類似度を素早く判定する。

メカニズム

テキストをスライドさせてN-gram集合を作り、各N-gramをハッシュ化して結果(和集合、ビットマップ、またはカウント)を固定長フィンガープリントに集約する。2つのテキストのJaccard類似度をフィンガープリントから推定できる。

ユースケース

  • 近似テキストの重複排除
  • スペル訂正の候補検索
  • 検索エンジンのあいまいマッチング

関連ツール

References