Parquet Encoding
L'encodage Parquet est l'ensemble des schémas d'encodage du format en colonnes Apache Parquet, incluant Plain, Dictionary, RLE/Bit-Packed et Delta Binary Packed.
Objectif
Il sélectionne l'encodage optimal par type de données de colonne dans le stockage en colonnes afin de maximiser compression et vitesse de scan.
Mécanisme
Chaque fragment de colonne choisit un encodage selon ses statistiques : valeurs répétées → Dictionary, données à faible cardinalité → RLE/Bit-Packed, entiers incrémentaux → Delta Binary Packed, flottants → Byte-Array Split.
Cas d’usage
- Fichiers en colonnes Parquet
- Data lakes Hadoop/Spark
- Stockage de données analytiques