コンテンツへスキップ
uencoder

Inverted Index

転置インデックス(Inverted Index)は、各単語をそれを含む文書リストに対応付ける。全文検索エンジンの中核データ構造である。

目的

全文検索の原理を理解し、効率的なテキスト検索システムを設計する。

メカニズム

トークン化の後、各単語はポスティングリスト(文書 ID+出現頻度+位置)を持つ。クエリはポスティングリストをマージ(AND/OR)し、TF-IDF/BM25 でランキングする。圧縮(差分エンコーディング+VByte)が容量を削減する。

ユースケース

  • 全文検索(フルテキスト)の設計
  • 検索エンジンの内部構造
  • ドキュメント検索

関連ツール

References