N-gram

N-gram 是将文本切分为 N 个连续单元（字符或词）的序列，用于语言模型、相似度与文本分析。

用途

将文本分解为固定长度片段，便于统计与比较。

机制

对文本按字符或词滑动窗口切分，步长 1，窗口 N。如 "hello" 的字符 2-gram: he, el, ll, lo。用于 N-gram 语言模型（预测下一单元概率）与 Jaccard/Dice 相似度。

用例

N-gram 语言模型
拼写纠错（字符 n-gram 相似度）
文本分类与语言检测
关键词提取

示例

输入
```
"hello" 2-grams
```
输出
```
he, el, ll, lo
```
Character bigrams

常见错误

Too-large N causes sparsity and overfitting: Choose N based on corpus size (usually 2-3)

相关词条

分词是将文本切分为语义单元（词、子词、字符）的序列，是 NLP 与搜索引擎的基础步骤。

TF-IDF（词频-逆文档频率）衡量词对文档的重要程度：在该文档高频但在语料中低频的词权重高。

Cosine Similarity

余弦相似度度量两向量夹角的余弦值，忽略向量长度，常用于文本向量相似度计算。

参考链接