Avro

Avro es un formato de serialización binaria orientado a filas del ecosistema Hadoop; su esquema puede ir incrustado o ser externo, y se usa para almacenamiento de macrodatos y Kafka.

Propósito

Proporcionar una serialización compacta y consciente del esquema para el big data y el procesamiento de flujos.

Mecanismo

Al codificar los datos, el esquema puede ir incrustado (escrito en la cabecera) o ser externo (un registro). No hay etiquetas de campo (el esquema localiza los campos), por lo que es más compacto que Protobuf. Admite la evolución del esquema (añadir y quitar campos con valores por defecto). El almacenamiento orientado a filas encaja con OLAP.

Casos de uso

Serialización de mensajes en Kafka
Formato de archivos de Hadoop
Almacenamiento de tablas Hive
Confluent Schema Registry

Ejemplos

entrada
```
schema + data
```
Output
```
Compact binary bytes
```
Schema-aware encoding

Errores comunes

Schema mismatch causes decoding errors: Manage schema versions with a Schema Registry

Términos relacionados

Protocol Buffers

Protocol Buffers es el formato de serialización binaria neutro respecto al lenguaje de Google; requiere un esquema .proto y es más compacto y con más seguridad de tipos que JSON/XML.

Parquet es un formato binario columnar, un proyecto de Apache usado para analítica OLAP, que comprime por columnas para consultas eficientes.

JSON (JavaScript Object Notation) es un formato ligero de intercambio de datos basado en los literales de objeto de JavaScript, usando pares clave-valor y arrays.

References