Parquet

Parquet est un format binaire en colonnes, un projet Apache utilisé pour l'analytique OLAP, comprimant par colonne pour des requêtes efficaces.

Objectif

Fournir stockage et encodage en colonnes pour que les requêtes analytiques ne lisent que les colonnes nécessaires, réduisant drastiquement les E/S.

Mécanisme

Le fichier est découpé en row groups, chacun stockant les données de colonnes en column chunks. Dans une colonne, les données sont compressées par encodage RLE/dictionnaire/delta. Le pied de fichier stocke le schéma et les statistiques (min/max). Les lectures poussent les prédicats par colonne pour filtrer.

Cas d’usage

Requêtes analytiques Spark/Hive
Lacs de données (Iceberg, Delta)
Sources de données de rapports BI
Stockage big data S3/Azure

Exemples

entrée
```
table data
```
Output
```
A columnar compressed file
```
Stored by column

Erreurs courantes

Too many small files inflates metadata overhead: Consolidate into larger row groups

Termes associés

Avro est un format de sérialisation binaire orienté lignes issu de l'écosystème Hadoop ; son schéma est intégré ou externe, et il sert au stockage de big data et à Kafka.

CSV (comma-separated values) est un format de données tabulaires séparant les champs par des virgules ; RFC 4180 définit la norme et il est largement utilisé pour l'import et l'export de données.

JSON (JavaScript Object Notation) est un format léger d'échange de données fondé sur les littéraux d'objets JavaScript, utilisant paires clé-valeur et tableaux.

References