N-gram

N-gram（エヌグラム）はテキストから切り出したN個の連続した単位（文字または単語）の列であり、言語モデルや類似度、テキスト解析に使われる。

目的

テキストを固定長の断片に分解し、統計や比較を容易にする。

メカニズム

文字または単語の上にサイズNのウィンドウをステップ1でスライドさせる。例えば「hello」の文字2-gramはhe、el、ll、loである。N-gram言語モデル（次の単位の確率予測）やJaccard/Dice類似度に使われる。

ユースケース

N-gram言語モデル
スペル訂正（文字n-gram類似度）
テキスト分類と言語判定
キーワード抽出

例

入力
```
"hello" 2-grams
```
Output
```
he, el, ll, lo
```
Character bigrams

よくあるエラー

Too-large N causes sparsity and overfitting: Choose N based on corpus size (usually 2-3)

関連用語

トークン化（トークナイズ）は、テキストを意味単位（単語・サブワード・文字）の列に分割する。NLP と検索エンジンの基礎的な工程である。

TF-IDF（単語頻度・逆文書頻度）は、単語が文書にとってどれだけ重要かを測る。文書内で高頻度だがコーパス全体では稀な単語に高い重みが付く。

Cosine Similarity

コサイン類似度は 2 つのベクトル間の角度のコサインを測り、ベクトルの長さを無視する。テキストベクトルの類似度計算に広く使われる。

References