ORC Encoding
ORC (Optimized Row Columnar) est le format de stockage en colonnes utilisé par Hive ; sa couche d'encodage combine codage par dictionnaire, RLE, bit-packing et index de bande.
Objectif
Il offre une forte compression et une accélération des scans par pushdown de prédicats dans l'écosystème Hive/Spark.
Mécanisme
Les données sont découpées en bandes (64 Mo par défaut) et chaque colonne d'une bande est encodée séparément : les chaînes utilisent dictionnaire + RLE, les entiers bit-packing + RLE, et des index légers (min/max/bloom) soutiennent le pushdown de prédicats.
Cas d’usage
- Stockage en colonnes Hive
- Lecture de données Spark
- Data lakes Hadoop