Tokenization

分词是将文本切分为语义单元（词、子词、字符）的序列，是 NLP 与搜索引擎的基础步骤。

用途

将连续文本转为离散 token 序列，便于后续处理与分析。

机制

英文按空格与标点切分（需处理缩写、连字符）。中文需分词算法（最大匹配、统计模型 HMM/CRF、深度模型 BERT）。子词分词（BPE、WordPiece）平衡词汇表大小与覆盖率。

用例

搜索引擎索引构建
NLP 预处理（BERT 分词）
代码分析器词法分析
模板引擎变量解析

示例

输入
```
I love NLP
```
输出
```
["I","love","NLP"]
```
Whitespace tokenization

常见错误

Processing Chinese as raw characters without segmentation: Use segmenters such as jieba/THULAC

相关词条

N-gram 是将文本切分为 N 个连续单元（字符或词）的序列，用于语言模型、相似度与文本分析。

词干提取是将单词还原为词根（stem）的启发式过程，如 running → run，使词形变化不影响检索匹配。

停用词是高频但低语义的词（the、is、at、on），在检索与 NLP 中常过滤以减少噪声。

词袋模型将文本表示为无序词频向量，忽略语法与词序，是文本分类与检索的基础表示。

参考链接