Zum Inhalt springen
uencoder

Snappy

Snappy ist der von Google entwickelte Hochgeschwindigkeits-Kompressionsalgorithmus, der nicht das Verhältnis, sondern extreme Geschwindigkeit (GB/s-Klasse) anstrebt; weit verbreitet in Bigtable und Protobuf.

Zweck

Bietet schnelle Kompression, wo das Verhältnis weniger zählt als die Latenz, etwa bei spaltenorientiertem Speicher und RPC.

Mechanismus

Es ist eine LZ77-Variante mit einfacher Greedy-Suche plus Hash-Tabelle und ohne Entropiekodierungsstufe; die Ausgabe ist ein format mit variabler Länge (Literallänge, Matchlänge, Distanz). Das Dekodieren ist reines Kopieren und extrem schnell.

Anwendungsfälle

  • Bigtable/SSTable-Kompression
  • Große Protobuf-Felder
  • Seitenkompression im Spaltenspeicher

Verwandte Tools

References