Parquet
Parquet ist ein spaltenorientiertes Binärformat, ein Apache-Projekt für OLAP-Analytik, das spaltenweise komprimiert für effiziente Abfragen.
Zweck
Spaltenorientierten Speicher und Kodierung bereitstellen, damit analytische Abfragen nur die benötigten Spalten lesen und I/O drastisch sinkt.
Mechanismus
Die Datei wird in Row Groups geteilt, die jede Spaltendaten in Column Chunks speichern. Innerhalb einer Spalte werden Daten per RLE-/Wörterbuch-/Delta-Kodierung komprimiert. Der Footer speichert Schema und Statistiken (min/max). Lesevorgänge schieben Prädikate je Spalte zum Filtern hinunter.
Anwendungsfälle
- Spark-/Hive-Analytikabfragen
- Data Lakes (Iceberg, Delta)
- BI-Berichtsdatenquellen
- S3-/Azure-Big-Data-Speicher
Beispiele
- Eingabe
table dataOutputA columnar compressed fileStored by column
Häufige Fehler
- Too many small files inflates metadata overhead
- Consolidate into larger row groups
Verwandte Begriffe
Avro
Avro ist ein zeilenorientiertes binäres Serialisierungsformat aus dem Hadoop-Ökosystem; sein Schema ist eingebettet oder extern, und es wird für Big-Data-Speicherung und Kafka verwendet. GLOSSAR
CSV
CSV (comma-separated values) ist ein Tabellendatenformat, das Felder mit Kommas trennt; RFC 4180 definiert den Standard, und es wird weitgehend für Datenimport und -export genutzt. GLOSSAR
JSON
JSON (JavaScript Object Notation) ist ein leichtgewichtiges Datenaustauschformat auf Basis von JavaScript-Objektliteralen, das Schlüssel-Wert-Paare und Arrays nutzt. GLOSSAR