Stemming

ステミングは単語を語幹へ縮約するヒューリスティック処理である（例：running → run）。こうして語形変化が検索マッチングに影響しないようにする。

目的

異なる語形を同じ語幹にマッチさせ、検索の再現率を高める。

メカニズム

ヒューリスティックな規則（Porter アルゴリズムなど）で ing、ed、s、ly などの接尾辞を落とす。言語学的に正しい保証はなく（例：universe → univers、university → univers）、高速で決定的である。Snowball は改良版である。

ユースケース

検索エンジンでの語形の統合
テキスト分類での特徴の次元削減
情報検索でのクエリ拡張
単語頻度のカウント

例

入力
```
running → run
```
Output
```
Stem run
```
Porter algorithm

よくあるエラー

Over-stemming (e.g., business → bus): Use dictionary-assisted lemmatization

関連用語

見出し語化（レンマ化）は、単語を辞書に登録されたレンマ（見出し語）へ帰着させる言語処理である（例：better → good）。ステミングよりも正確である。

トークン化（トークナイズ）は、テキストを意味単位（単語・サブワード・文字）の列に分割する。NLP と検索エンジンの基礎的な工程である。

ストップワードは高頻度・低意味の語（the、is、at、on）で、検索や NLP でノイズを減らすためによく除去される。

References