跳到主要内容
uencoder

Parquet Encoding

Parquet 编码是 Apache Parquet 列式格式使用的编码方案集,包括 Plain、Dictionary、RLE/Bit-Packed、Delta Binary Packed 等。

用途

在列式存储中为每种列数据类型选择最优编码以最大化压缩率与扫描速度。

机制

每列数据块按统计特征选择编码:重复值用 Dictionary、低基数用 RLE/Bit-Packed、递增整数用 Delta Binary Packed、浮点用 Byte-Array Split。

用例

  • Parquet 列式文件
  • Hadoop/Spark 数据湖
  • 分析型数据存储

相关工具

参考链接