Unicode

Unicode ist der internationale Zeichenkodierungsstandard, der fast jedem Zeichen der Schriftsysteme der Welt einen eindeutigen Codepunkt (U+0000 bis U+10FFFF) zuweist, mit einem Coderaum von 1.114.112 Punkten.

Zweck

Fragmentierte regionale Kodierungen durch einen einzigen, global alle Schriften abdeckenden Zeichensatz ersetzen und Mojibake sowie Transkodierungsaufwand beseitigen.

Mechanismus

Codepunkte werden U+XXXX geschrieben und in 17 Ebenen unterteilt. Punkte müssen eine Kodierungsform (UTF-8/16/32) durchlaufen, um Bytes zu werden. Zeichen können kombinierende Zeichen tragen, sodass dasselbe visuelle Zeichen mehreren Codepunktfolgen entsprechen kann (NFC/NFD-Normalisierung nötig).

Anwendungsfälle

Mehrsprachige Webinhalte und Datenbankspeicherung
Internationalisierung (i18n) und Lokalisierung (l10n)
Emoji- und Symbol-Rendering
Plattformübergreifender Textaustausch

Beispiele

Eingabe
```
é
```
Output
```
U+00E9
```
The code point of é (Latin small letter e with acute)

Häufige Fehler

Truncating a string by character count and splitting a surrogate pair: Use surrogate-pair-aware APIs such as Intl.Segmenter

Verwandte Begriffe

UTF-8 ist Unicodes Form mit variabler Länge, die 1 bis 4 Bytes pro Codepunkt verwendet; sie ist vollständig abwärtskompatibel zu ASCII und der De-facto-Standard des Webs und moderner Systeme.

UTF-16 ist Unicodes Form mit variabler Länge, die 2 oder 4 Bytes pro Codepunkt verwendet: BMP-Zeichen belegen eine 16-Bit-Codeeinheit, Zeichen der ergänzenden Ebenen ein Ersatzpaar (2 Einheiten).

ASCII (American Standard Code for Information Interchange) ist ein 7-Bit-Zeichenkodierungsstandard, der 128 Zeichen (0-127) definiert, einschließlich Buchstaben, Ziffern, Symbole und Steuerzeichen.

Ein Codepunkt ist der numerische Wert, den der Unicode-Standard jedem Zeichen zuweist (U+0000 bis U+10FFFF), die Positionsnummer des Zeichens im Coderaum.

Ein Surrogatpaar ist der UTF-16-Mechanismus, der einen Codepunkt der ergänzenden Ebene (U+10000 bis U+10FFFF) mit zwei 16-Bit-Codeeinheiten darstellt.

Die BOM (Byte-Order-Mark) ist das Unicode-Zeichen U+FEFF, das an den Anfang eines Textstroms gesetzt wird, um Kodierungsform und Byte-Reihenfolge anzuzeigen.

Verwandte Tools

Unicode-Konverter

Convert text to Unicode code points, UTF-8 hex, or UTF-16 hex online. Kostenlos, privat und 100% clientseitig.

Zeichensatz-Referenz

Reference table of character encodings. Kostenlos, privat, 100% clientseitig.

Encoding-Detektor

Prüft die Textkodierung: ASCII-Teilmenge, UTF-8-BOM und Nicht-ASCII-Zeichen. Texteingaben werden immer als UTF-8 neu kodiert, daher können Legacy-Kodierungen (GBK/Big5/Shift-JIS) nicht unterschieden werden. Kostenlos, privat, 100% clientseitig.

Unicode-Unescape

Unicode Unescape — reines Client-seitiges Tool. Datenschutz zuerst, kein Server-Roundtrip.

References