ORC Encoding
ORC (Optimized Row Columnar) es el formato columnar de almacenamiento usado por Hive; su capa de codificación combina codificación por diccionario, RLE, bit-packing e índices de franja.
Propósito
Proporciona alta compresión y aceleración de escaneo por pushdown de predicados en el ecosistema Hive/Spark.
Mecanismo
Los datos se dividen en franjas (64MB por defecto) y cada columna dentro de una franja se codifica por separado: las cadenas usan diccionario + RLE, los enteros bit-packing + RLE, y los índices ligeros (min/max/bloom) soportan el pushdown de predicados.
Casos de uso
- Almacenamiento columnar en Hive
- Lectura de datos en Spark
- Data lakes de Hadoop