Parquet Schema
Ein Parquet-Schema nutzt die Thrift-IDL, um logische Typen und die verschachtelte Struktur von Spaltendaten zu beschreiben, und unterstützt logische Annotationen wie List/Map.
Zweck
Typbeschreibungen und die Abbildung verschachtelter Strukturen für Parquet-Spaltendateien bereitstellen, damit Leser und Schreiber Spaltendaten korrekt interpretieren.
Mechanismus
Das Schema ist ein per Thrift definierter Nachrichtentyp mit physischen Typen (BOOLEAN/INT32/...) und logischen Annotationen (STRING/DECIMAL/LIST/MAP). Verschachtelung wird über Repetition Levels (REQUIRED/OPTIONAL/REPEATED) ausgedrückt.
Anwendungsfälle
- Parquet-Spaltendateien
- Data-Lake-Schemata
- Spark-/Hive-Lesevorgänge