ORC Encoding
ORC(Optimized Row Columnar)是 Hive 使用的列式存储格式,其编码层使用 Dictionary、RLE、Bit-Packing 与 Stripe 索引。
用途
在 Hive/Spark 生态中提供高压缩率与谓词下推扫描加速。
机制
数据按 Stripe(默认 64MB)分块,每 Stripe 内按列编码:字符串用 Dictionary + RLE,整数用 Bit-Packing + RLE,附加轻量级索引(min/max/bloom)支持谓词下推。
用例
- Hive 列式存储
- Spark 数据读取
- Hadoop 数据湖