跳到主要内容
uencoder

Parquet Schema

Parquet Schema 用 Thrift IDL 描述列式数据的逻辑类型与嵌套结构,支持 List/Map 等逻辑注解。

用途

为 Parquet 列式文件提供类型描述与嵌套结构映射,使读写端正确解释列数据。

机制

Schema 为 Thrift 定义的消息类型,含物理类型(BOOLEAN/INT32/...)与逻辑注解(STRING/DECIMAL/LIST/MAP)。嵌套用 repetition level(REQUIRED/OPTIONAL/REPEATED)表达。

用例

  • Parquet 列式文件
  • 数据湖 schema
  • Spark/Hive 读取

相关工具

参考链接