Parquet

Parquet es un formato binario columnar, un proyecto de Apache usado para analítica OLAP, que comprime por columnas para consultas eficientes.

Propósito

Proporcionar almacenamiento y codificación columnares para que las consultas analíticas lean solo las columnas necesarias, reduciendo drásticamente la E/S.

Mecanismo

El archivo se divide en row groups y cada uno almacena los datos de columna en column chunks. Dentro de una columna, los datos se comprimen con codificación RLE/diccionario/delta. El pie de archivo guarda el esquema y estadísticas (min/max). Las lecturas empujan predicados por columna para filtrar.

Casos de uso

Consultas analíticas en Spark/Hive
Lagos de datos (Iceberg, Delta)
Fuentes de datos para informes BI
Almacenamiento de big data en S3/Azure

Ejemplos

entrada
```
table data
```
Output
```
A columnar compressed file
```
Stored by column

Errores comunes

Too many small files inflates metadata overhead: Consolidate into larger row groups

Términos relacionados

Avro es un formato de serialización binaria orientado a filas del ecosistema Hadoop; su esquema puede ir incrustado o ser externo, y se usa para almacenamiento de macrodatos y Kafka.

CSV (comma-separated values) es un formato de datos tabulares que separa los campos con comas; RFC 4180 define el estándar y se usa ampliamente para importar y exportar datos.

JSON (JavaScript Object Notation) es un formato ligero de intercambio de datos basado en los literales de objeto de JavaScript, usando pares clave-valor y arrays.

References