Lemmatization

見出し語化（レンマ化）は、単語を辞書に登録されたレンマ（見出し語）へ帰着させる言語処理である（例：better → good）。ステミングよりも正確である。

目的

辞書と品詞情報に基づいて語形を正規形のレンマへ帰着させ、言語学的に正しい結果を保証する。

メカニズム

辞書引きと品詞タグ付けによってレンマを決定する。例えば better（比較級の形容詞）→ good、running（現在分詞）→ run のように変換する。品詞タグ付けと辞書が必要であり、ステミングより遅いが正確である。spaCy や NLTK が提供している。

ユースケース

高精度なNLP解析
質問応答システムにおける意味マッチング
機械翻訳（MT）の前処理
語義のあいまい性解消

例

入力
```
better → good
```
Output
```
Lemma good
```
Requires part-of-speech tagging

よくあるエラー

Missing part-of-speech tagging leads to wrong lemmas: Use a POS-aware lemmatizer

関連用語

ステミングは単語を語幹へ縮約するヒューリスティック処理である（例：running → run）。こうして語形変化が検索マッチングに影響しないようにする。

トークン化（トークナイズ）は、テキストを意味単位（単語・サブワード・文字）の列に分割する。NLP と検索エンジンの基礎的な工程である。

References