Bag of Words

bag-of-words モデルはテキストを順序のない単語頻度ベクトルとして表現し、文法や語順を無視する。テキスト分類や検索の基礎となる表現である。

目的

テキストを固定次元のベクトルへ変換し、機械学習アルゴリズムが処理できるようにする。

メカニズム

語彙 V を構築し、各文書での単語の出現回数を数えて |V| 次元のベクトルを出力する。語順と文法は無視される。TF-IDF 重み付けやストップワード除去と組み合わせることが多い。次元数は語彙サイズに等しい。

ユースケース

テキスト分類（Naive Bayes）
スパム検出
センチメント分析
ドキュメントクラスタリング

例

入力

"the cat sat" + "the dog ran"

Output

Word-frequency vector

Ignores word order

よくあるエラー

Ignoring word order loses semantic meaning: Use n-gram or deep models to preserve order

関連用語

TF-IDF（単語頻度・逆文書頻度）は、単語が文書にとってどれだけ重要かを測る。文書内で高頻度だがコーパス全体では稀な単語に高い重みが付く。

トークン化（トークナイズ）は、テキストを意味単位（単語・サブワード・文字）の列に分割する。NLP と検索エンジンの基礎的な工程である。

Cosine Similarity

コサイン類似度は 2 つのベクトル間の角度のコサインを測り、ベクトルの長さを無視する。テキストベクトルの類似度計算に広く使われる。

N-gram（エヌグラム）はテキストから切り出したN個の連続した単位（文字または単語）の列であり、言語モデルや類似度、テキスト解析に使われる。

References