Parquet Encoding
Parquetエンコーディングは、Apache Parquet列指向形式で使われる一連の符号化方式である。Plain、Dictionary、RLE/Bit-Packed、Delta Binary Packedなどを含む。
目的
列指向ストレージで列のデータ型ごとに最適な符号化を選択し、圧縮率とスキャン速度を最大化する。
メカニズム
各列チャンクは統計情報に基づいて符号化を選ぶ。繰り返し値はDictionary、低カーディナリティデータはRLE/Bit-Packed、増分整数はDelta Binary Packed、浮動小数点はByte-Array Splitを使う。
ユースケース
- Parquetの列指向ファイル
- Hadoop/Sparkのデータレイク
- 分析用データストア