N-gram Hash
N-gram Hash 将文本的 N-gram(连续 N 个字符/词)集合哈希为定长指纹,用于近似文本快速比较。
用途
在不需精确匹配的场景中快速判断文本相似性,如去重、拼写纠错与近似搜索。
机制
将文本滑动切分为 N-gram 集合,对每个 N-gram 计算哈希并聚合(并集/位图/计数),得到定长指纹。两个文本的 Jaccard 相似度可由指纹估算。
用例
- 近似文本去重
- 拼写纠错候选检索
- 搜索引擎模糊匹配
N-gram Hash 将文本的 N-gram(连续 N 个字符/词)集合哈希为定长指纹,用于近似文本快速比较。
在不需精确匹配的场景中快速判断文本相似性,如去重、拼写纠错与近似搜索。
将文本滑动切分为 N-gram 集合,对每个 N-gram 计算哈希并聚合(并集/位图/计数),得到定长指纹。两个文本的 Jaccard 相似度可由指纹估算。