Folgen Sie den Tabellen im Unicode -Standard, Kapitel 3. (Ich habe die Unicode 5.1.0-Version des Kapitels (p103) verwendet.) war Tabelle 3-7 auf p94 der Unicode 6.0.0 Version und war auf p95 in der Unicode 6.3 Version - und es ist auf p125 der Unicode Version 8.0.0.
Die Bytes 0xC0, 0xC1 und 0xF5..0xFF können nicht in gültigem UTF-8 erscheinen. Die gültigen Sequenzen sind dokumentiert; Alle anderen sind ungültig.
Beachten Sie, dass sich die Unregelmäßigkeiten im zweiten Byte für bestimmte Wertebereiche des ersten Bytes befinden. Das dritte und vierte Byte sind bei Bedarf konsistent. Beachten Sie, dass nicht jeder Codepunkt innerhalb der als gültig gekennzeichneten Bereiche zugeordnet wurde (und einige sind explizit "Nicht-Zeichen"), sodass noch mehr Validierung erforderlich ist.
Die Codepunkte U + D800..U + DBFF sind für UTF-16-High-Surrogate und U + DC00..U + DFFF sind für UTF-16-Low-Surrogate; Diese können nicht in gültigem UTF-8 erscheinen (Sie kodieren die Werte außerhalb der BMP - Basic Multilingual Plane - direkt in UTF-8), weshalb dieser Bereich als ungültig markiert ist.
Andere ausgeschlossene Bereiche (Anfangs-Byte C0 oder C1 oder Anfangs-Byte E0 gefolgt von 80..9F oder Anfangs-Byte F0 gefolgt von 80..8F) sind nicht-minimale Kodierungen. Zum Beispiel würde C0 80 U + 0000 codieren, aber das ist durch 00 kodiert, und UTF-8 definiert, dass die nicht-minimale Kodierung C0 80 ungültig ist. Und der maximale Unicode-Codepunkt ist U + 10FFFF; UTF-8-Kodierungen ab F4 90 generieren Werte, die außerhalb des Bereichs liegen.
Gute Antwort schon, ich bin gerade dabei, eine weitere Einstellung zum Spaß zu machen.
UTF-8 verwendet ein allgemeines Schema von Prosser und Thompson, um große Zahlen in Einzelbyte-Sequenzen zu codieren. Dieses Schema kann tatsächlich 2 ^ 36 Werte darstellen, aber für Unicode benötigen wir nur 2 ^ 21. So funktioniert das. Sei N die Nummer, die du kodieren willst (z. B. ein Unicode-Codepunkt):
0nnnnnnn . Das höchste Bit ist Null. 10 , gefolgt von sechs Datenbits. Beispiele: 1110xxxx 10xxxxxx 10xxxxxx . 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx . 11111110 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx . Eine k -Byte-Sequenz passt 5 k + 1 Bit (wenn k & gt; 1), so dass Sie bestimmen können, wie viele Bytes Sie benötigen N. Zum Dekodieren ein Byte lesen; Wenn das oberste Bit Null ist, speichern Sie den Wert so, wie er ist. Verwenden Sie andernfalls das erste Byte, um herauszufinden, wie viele Bytes sich in der Sequenz befinden, und verarbeiten Sie all diese.
Für Unicode ab heute brauchen wir höchstens k = 4 Bytes.