Stop Words

停用词是高频但低语义的词（the、is、at、on），在检索与 NLP 中常过滤以减少噪声。

用途

去除对语义贡献小的功能词，提升检索精度与效率。

机制

预定义停用词表（如 NLTK 英语 179 词）。索引与查询时跳过停用词。注意：短语搜索（"to be or not to be"）中停用词有语义，需保留。领域不同停用词不同。

用例

搜索引擎索引压缩
TF-IDF 计算
文本分类特征筛选
关键词提取预处理

示例

输入
```
the quick brown fox
```
输出
```
quick brown fox
```
Removes "the"

常见错误

Filtering stop words breaks phrase semantics: Keep stop words in phrase queries

相关词条

分词是将文本切分为语义单元（词、子词、字符）的序列，是 NLP 与搜索引擎的基础步骤。

TF-IDF（词频-逆文档频率）衡量词对文档的重要程度：在该文档高频但在语料中低频的词权重高。

词干提取是将单词还原为词根（stem）的启发式过程，如 running → run，使词形变化不影响检索匹配。

参考链接