Avro Encoding
Die Avro-Kodierung ist das von Apache Avro verwendete binäre Serialisierungsschema, das sowohl Binary- als auch JSON-Kodierung unterstützt, wobei das Schema den Daten beiliegt oder vorab registriert wird.
Zweck
Sie bietet eine kompakte, schemaabhängige, zeilenorientierte Serialisierung für das Hadoop/Spark-Ökosystem, geeignet für RPC und Speicherung.
Mechanismus
Die Binärkodierung schreibt die Felder in Schema-Reihenfolge: int/long nutzen Varint mit ZigZag, Strings sind längenpräfixiertes UTF-8 und Datensätze werden rekursiv kodiert. Das Schema wird nicht mit jedem Datensatz übertragen (es ist vorab registriert oder wird einmalig gesendet).
Anwendungsfälle
- Nachrichtenserialisierung in Kafka
- Hadoop-Datenaustausch
- RPC-Datentransport