Stop Words

ストップワードは高頻度・低意味の語（the、is、at、on）で、検索や NLP でノイズを減らすためによく除去される。

目的

意味への寄与が少ない機能語を取り除き、検索の精度と効率を高める。

メカニズム

定義済みのストップワードリストを使う（NLTK の英語 179 語など）。インデックス作成時とクエリ時にストップワードを飛ばす。注意：フレーズ検索（"to be or not to be"）ではストップワードが意味を持つため保持が必要である。ストップワードはドメインごとに異なる。

ユースケース

検索エンジンのインデックス圧縮
TF-IDF を計算する
テキスト分類の特徴選択
キーワード抽出の前処理

例

入力
```
the quick brown fox
```
Output
```
quick brown fox
```
Removes "the"

よくあるエラー

Filtering stop words breaks phrase semantics: Keep stop words in phrase queries

関連用語

トークン化（トークナイズ）は、テキストを意味単位（単語・サブワード・文字）の列に分割する。NLP と検索エンジンの基礎的な工程である。

TF-IDF（単語頻度・逆文書頻度）は、単語が文書にとってどれだけ重要かを測る。文書内で高頻度だがコーパス全体では稀な単語に高い重みが付く。

ステミングは単語を語幹へ縮約するヒューリスティック処理である（例：running → run）。こうして語形変化が検索マッチングに影響しないようにする。

References