跳到主要内容
uencoder

N-gram Hash

N-gram Hash 将文本的 N-gram(连续 N 个字符/词)集合哈希为定长指纹,用于近似文本快速比较。

用途

在不需精确匹配的场景中快速判断文本相似性,如去重、拼写纠错与近似搜索。

机制

将文本滑动切分为 N-gram 集合,对每个 N-gram 计算哈希并聚合(并集/位图/计数),得到定长指纹。两个文本的 Jaccard 相似度可由指纹估算。

用例

  • 近似文本去重
  • 拼写纠错候选检索
  • 搜索引擎模糊匹配

相关工具

参考链接