Lemmatization
词形还原是将单词还原为词典词元(lemma)的语言学过程,如 better → good,比词干提取更准确。
用途
基于词典与词性将词形还原为规范词元,保证语言学正确性。
机制
查词典 + 词性标注确定词元。如 better(形容词比较级)→ good;running(动词现在分词)→ run。需 POS 标注与词典支持,比 stemming 慢但准确。spaCy、NLTK 提供。
用例
- 精确的 NLP 分析
- 问答系统语义匹配
- 机器翻译预处理
- 词义消歧
示例
- 输入
better → good输出Lemma goodRequires part-of-speech tagging
常见错误
- Missing part-of-speech tagging leads to wrong lemmas
- Use a POS-aware lemmatizer