Inverted Index
転置インデックス(Inverted Index)は、各単語をそれを含む文書リストに対応付ける。全文検索エンジンの中核データ構造である。
目的
全文検索の原理を理解し、効率的なテキスト検索システムを設計する。
メカニズム
トークン化の後、各単語はポスティングリスト(文書 ID+出現頻度+位置)を持つ。クエリはポスティングリストをマージ(AND/OR)し、TF-IDF/BM25 でランキングする。圧縮(差分エンコーディング+VByte)が容量を削減する。
ユースケース
- 全文検索(フルテキスト)の設計
- 検索エンジンの内部構造
- ドキュメント検索