Avro

Avro ist ein zeilenorientiertes binäres Serialisierungsformat aus dem Hadoop-Ökosystem; sein Schema ist eingebettet oder extern, und es wird für Big-Data-Speicherung und Kafka verwendet.

Zweck

Eine kompakte, schemaabhängige Serialisierung für Big Data und Stream-Processing bieten.

Mechanismus

Bei der Kodierung der Daten kann das Schema eingebettet (in den Header geschrieben) oder extern (eine Registry) sein. Es gibt keine Feld-Tags (das Schema lokalisiert die Felder), daher ist es kompakter als Protobuf. Schema-Evolution wird unterstützt (Hinzufügen und Entfernen von Feldern mit Standardwerten). Zeilenorientierte Speicherung passt zu OLAP.

Anwendungsfälle

Nachrichtenserialisierung in Kafka
Hadoop-Dateiformat
Hive-Tabellenspeicherung
Confluent Schema Registry

Beispiele

Eingabe
```
schema + data
```
Output
```
Compact binary bytes
```
Schema-aware encoding

Häufige Fehler

Schema mismatch causes decoding errors: Manage schema versions with a Schema Registry