Stemming

词干提取是将单词还原为词根（stem）的启发式过程，如 running → run，使词形变化不影响检索匹配。

用途

使不同词形的单词匹配同一词根，提升搜索召回率。

机制

用启发式规则（如 Porter 算法）去除后缀：ing、ed、s、ly 等。不保证语言学正确（如 universe → univers，university → univers），但快速且确定。Snowball 为改进版。

用例

搜索引擎词形归并
文本分类特征降维
信息检索查询扩展
词频统计

示例

输入
```
running → run
```
输出
```
Stem run
```
Porter algorithm

常见错误

Over-stemming (e.g., business → bus): Use dictionary-assisted lemmatization

相关词条

词形还原是将单词还原为词典词元（lemma）的语言学过程，如 better → good，比词干提取更准确。

分词是将文本切分为语义单元（词、子词、字符）的序列，是 NLP 与搜索引擎的基础步骤。

停用词是高频但低语义的词（the、is、at、on），在检索与 NLP 中常过滤以减少噪声。

参考链接