Cosine Similarity

コサイン類似度は 2 つのベクトル間の角度のコサインを測り、ベクトルの長さを無視する。テキストベクトルの類似度計算に広く使われる。

目的

大きさではなく方向を比較するため、長い文書と短い文書を公平に比較できる。

メカニズム

sim(A,B) = (A·B) / (|A|×|B|) = Σ(A_i×B_i) / (sqrt(ΣA_i²)×sqrt(ΣB_i²))。出力は -1 から 1 の範囲（非負のテキストベクトルでは 0 から 1）。1 は同一方向、0 は直交（無関係）を意味する。

ユースケース

文書のベクトル類似検索
レコメンドのアイテム類似度
単語ベクトルのセマンティック類似度
クラスタリングの距離指標

例

入力
```
[1,0,1] vs [1,1,1]
```
Output
```
0.816
```
Angle of about 35°

よくあるエラー

Unnormalized vectors cause computation overflow: Apply L2 normalization in advance or use a numerically stable implementation

関連用語

TF-IDF（単語頻度・逆文書頻度）は、単語が文書にとってどれだけ重要かを測る。文書内で高頻度だがコーパス全体では稀な単語に高い重みが付く。

bag-of-words モデルはテキストを順序のない単語頻度ベクトルとして表現し、文法や語順を無視する。テキスト分類や検索の基礎となる表現である。

Jaro-Winkler Distance

ジャロ・ウィンクラー距離（Jaro-Winkler Distance）はジャロ距離を改良し、共通する接頭辞に重みを付ける。接頭辞が重要な人名などの短い文字列の照合に適する。

関連ツール

ベクトル内積計算ツール

Vector Dot Product — 純クライアントサイドツール。プライバシーファースト、サーバー往復なし。

References