どのストップワードを除去すべきですか?

標準リスト(NLTK 英語:179 語)から始めてください。ドメインに合わせてカスタマイズします。ドメイン固有の一般的な単語(例:医療テキストの「patient」)を除去し、文脈で意味のある単語は残します。ドメインで意味を持つ単語を決して除去しないでください。人名検索では「who」が重要です。

常にストップワードを除去すべきですか?

いいえ。バッグオブワーズモデル(トピックモデリング、分類)では除去します。検索では状況によります。「to be or not to be」はすべてストップワードですが意味があります。感情分析では、"not" や "but" のようなストップワードが感情を担います。フレーズマッチング(「King of England」)では残してください。除去する前にタスクを考えてください。

テキストからストップワードを取り除く

ストップワードとは、意味の薄い頻出語(the、is、at、which など)です。除去することで検索や NLP の効率が向上します。

1

ストップワードは、高頻度で情報量の少ない単語です。冠詞(the、a、an)、前置詞(in、on、at)、接続詞(and、or、but)、代名詞(it、they、we)、一般的な動詞(is、was、be)。これらを除去すると、検索インデックス、トピックモデリング、テキスト分類のノイズが減ります。標準のリスト:NLTK、spaCy、Lucene。ドメインに合わせてカスタマイズしてください。
2

正規表現置換ツール →
正規表現でストップワードを除去します。ストップワードリストからパターンを構築します:\b(the|a|an|is|at|which|on|...)\b を空文字列に置換します。部分文字列を誤って除去しないよう、単語境界を使ってください("cat" から "at" を除去しない)。マッチには大小文字を無視するフラグ(i)を使います。
3

ワードカウント →
ストップワード除去の前後で単語数を数えて、減少量を測定します。通常、単語の 30〜50% がストップワードです。意味のある単語が保持され、一般的な単語だけが除去されていることを確認してください。前後の単語頻度分布を比較します。

よくある質問

どのストップワードを除去すべきですか?: 標準リスト(NLTK 英語:179 語)から始めてください。ドメインに合わせてカスタマイズします。ドメイン固有の一般的な単語(例:医療テキストの「patient」)を除去し、文脈で意味のある単語は残します。ドメインで意味を持つ単語を決して除去しないでください。人名検索では「who」が重要です。
常にストップワードを除去すべきですか?: いいえ。バッグオブワーズモデル(トピックモデリング、分類)では除去します。検索では状況によります。「to be or not to be」はすべてストップワードですが意味があります。感情分析では、"not" や "but" のようなストップワードが感情を担います。フレーズマッチング(「King of England」)では残してください。除去する前にタスクを考えてください。