Parquet Encoding
Die Parquet-Kodierung ist die Menge der Kodierungsverfahren des spaltenorientierten Apache-Parquet-Formats, darunter Plain, Dictionary, RLE/Bit-Packed und Delta Binary Packed.
Zweck
Wählt im Spaltenspeicher die optimale Kodierung je Spaltendatentyp, um Kompression und Scangeschwindigkeit zu maximieren.
Mechanismus
Jeder Column Chunk wählt anhand seiner Statistiken eine Kodierung: Wiederholte Werte nutzen Dictionary, niedrig-kardinale Daten RLE/Bit-Packed, inkrementelle Ganzzahlen Delta Binary Packed und Floats Byte-Array Split.
Anwendungsfälle
- Parquet-Spaltendateien
- Hadoop/Spark-Data-Lakes
- Analytischer Datenspeicher