Parquet Schema
Parquet Schema 用 Thrift IDL 描述列式数据的逻辑类型与嵌套结构,支持 List/Map 等逻辑注解。
用途
为 Parquet 列式文件提供类型描述与嵌套结构映射,使读写端正确解释列数据。
机制
Schema 为 Thrift 定义的消息类型,含物理类型(BOOLEAN/INT32/...)与逻辑注解(STRING/DECIMAL/LIST/MAP)。嵌套用 repetition level(REQUIRED/OPTIONAL/REPEATED)表达。
用例
- Parquet 列式文件
- 数据湖 schema
- Spark/Hive 读取