TF-IDF

TF-IDF（単語頻度・逆文書頻度）は、単語が文書にとってどれだけ重要かを測る。文書内で高頻度だがコーパス全体では稀な単語に高い重みが付く。

目的

文書の内容語と一般的な機能語を区別し、検索ランキングや特徴量の重み付けに使う。

メカニズム

TF は文書内の単語の出現数、IDF は log(N/DF) である。N は総文書数、DF はその単語を含む文書数である。TF-IDF は TF × IDF である。よく使う単語（the）は IDF が低く、稀な単語は IDF が高くなる。

ユースケース

検索エンジンの関連度ランキング
文書からのキーワード抽出
テキスト分類の特徴量の重み付け
レコメンドシステムにおける内容の類似度

例

入力

The word "the" appears in all documents

Output

IDF≈0, low weight

Common words get low weights

よくあるエラー

Failing to log-transform or normalize TF biases long documents: Use 1+log(TF) and document length normalization

関連用語

bag-of-words モデルはテキストを順序のない単語頻度ベクトルとして表現し、文法や語順を無視する。テキスト分類や検索の基礎となる表現である。

Cosine Similarity

コサイン類似度は 2 つのベクトル間の角度のコサインを測り、ベクトルの長さを無視する。テキストベクトルの類似度計算に広く使われる。

ストップワードは高頻度・低意味の語（the、is、at、on）で、検索や NLP でノイズを減らすためによく除去される。

References