Parquet Schema
Un esquema Parquet usa el IDL de Thrift para describir los tipos lógicos y la estructura anidada de los datos columnares, soportando anotaciones lógicas como List/Map.
Propósito
Proporcionar descripciones de tipos y mapeo de estructuras anidadas para los archivos columnares Parquet, de modo que lectores y escritores interpreten correctamente los datos de columna.
Mecanismo
El esquema es un tipo de mensaje definido en Thrift con tipos físicos (BOOLEAN/INT32/...) y anotaciones lógicas (STRING/DECIMAL/LIST/MAP). El anidamiento se expresa mediante niveles de repetición (REQUIRED/OPTIONAL/REPEATED).
Casos de uso
- Archivos columnares Parquet
- Esquemas de data lakes
- Lectura en Spark/Hive