Parquet Encoding
La codificación Parquet es el conjunto de esquemas de codificación del formato columnar Apache Parquet, que incluye Plain, Dictionary, RLE/Bit-Packed y Delta Binary Packed.
Propósito
Selecciona la codificación óptima según el tipo de dato de cada columna en el almacenamiento columnar para maximizar compresión y velocidad de escaneo.
Mecanismo
Cada fragmento de columna elige una codificación según sus estadísticas: valores repetidos usan Dictionary, datos de baja cardinalidad usan RLE/Bit-Packed, enteros incrementales usan Delta Binary Packed y los flotantes usan Byte-Array Split.
Casos de uso
- Archivos columnares Parquet
- Data lakes de Hadoop/Spark
- Almacenamiento de datos analíticos