LZ4
LZ4 は Yann Collet が開発した高速な LZ77 系圧縮である。圧縮率をある程度犠牲にして、GB/s 級の極めて高速な圧縮・展開を実現している。
目的
リアルタイム転送、インメモリデータベース、ログパイプラインなど、遅延に敏感な場面で高速な可逆圧縮を提供する。
メカニズム
LZ77 のスライディングウィンドウ照合を使うが、複雑な最適パースは省き、ハッシュテーブルで加速した貪欲マッチングを行い、(トークン、リテラル、マッチ) レコードを出力する。展開は純粋なコピーだけでオーバーヘッドがなく極めて高速である。
ユースケース
- リアルタイムデータ転送
- Linuxカーネルでの圧縮
- ログとキャッシュのパイプライン