Parquet

Parquet 是列式二进制存储格式，Apache 项目，用于 OLAP 分析，按列压缩高效查询。

用途

提供列式存储与编码，使分析查询只读所需列，大幅降低 I/O。

机制

文件按 Row Group 分块，每 Row Group 按 Column Chunk 存储列数据。列内用 RLE/Dictionary/Delta 编码压缩。Footer 存 schema 与统计信息（min/max）。读取时按列下推谓词过滤。

用例

Spark/Hive 分析查询
数据湖（Iceberg、Delta）
BI 报表数据源
S3/Azure 大数据存储

示例

输入
```
table data
```
输出
```
A columnar compressed file
```
Stored by column

常见错误

Too many small files inflates metadata overhead: Consolidate into larger row groups

相关词条

Avro 是 Hadoop 生态的行式二进制序列化格式，schema 内嵌或外联，用于大数据存储与 Kafka。

CSV（逗号分隔值）是用逗号分隔字段的表格数据格式，RFC 4180 定义标准，广泛用于数据导入导出。

JSON（JavaScript 对象表示法）是轻量级数据交换格式，基于 JavaScript 对象字面量，使用键值对与数组结构。

参考链接