Parquet Schema
Un schéma Parquet utilise l'IDL Thrift pour décrire les types logiques et la structure imbriquée des données en colonnes, en prenant en charge des annotations logiques telles que List/Map.
Objectif
Fournir des descriptions de types et le mappage de structures imbriquées pour les fichiers Parquet, afin que lecteurs et écrivains interprètent correctement les données de colonnes.
Mécanisme
Le schéma est un type de message défini en Thrift contenant des types physiques (BOOLEAN/INT32/...) et des annotations logiques (STRING/DECIMAL/LIST/MAP). L'imbrication s'exprime par les niveaux de répétition (REQUIRED/OPTIONAL/REPEATED).
Cas d’usage
- Fichiers Parquet en colonnes
- Schémas de data lakes
- Lecture Spark/Hive