跳到主要内容
uencoder

Lemmatization

词形还原是将单词还原为词典词元(lemma)的语言学过程,如 better → good,比词干提取更准确。

用途

基于词典与词性将词形还原为规范词元,保证语言学正确性。

机制

查词典 + 词性标注确定词元。如 better(形容词比较级)→ good;running(动词现在分词)→ run。需 POS 标注与词典支持,比 stemming 慢但准确。spaCy、NLTK 提供。

用例

  • 精确的 NLP 分析
  • 问答系统语义匹配
  • 机器翻译预处理
  • 词义消歧

示例

  • 输入
    better → good
    输出
    Lemma good

    Requires part-of-speech tagging

常见错误

Missing part-of-speech tagging leads to wrong lemmas
Use a POS-aware lemmatizer

相关词条

参考链接