Unicode

aus Wikipedia, der freien Enzyklopädie

Unicode [ˈjuːnɪkoʊd] ist ein internationaler Standard, in dem langfristig für jedes sinntragende Zeichen bzw. Textelement aller bekannten Schriftkulturen und Zeichensysteme ein digitaler Code festgelegt wird. Ziel ist es, das Problem unterschiedlicher, inkompatibler Kodierungen in unterschiedlichen Ländern oder Kulturkreisen zu beseitigen. Herkömmliche Computer-Zeichencodes umfassen einen Zeichenvorrat von entweder 128 (7 Bit) Codepositionen wie der sehr bekannte ASCII-Standard oder 256 (8 Bit) Positionen, wie z. B. ISO 8859-1 (auch als Latin-1 bekannt), wovon nach Abzug der Steuerzeichen 96 Elemente bei ASCII und 192–224 Elemente bei den 8-Bit ISO-Zeichensätzen als Schrift- und Sonderzeichen darstellbar sind. Diese Zeichenkodierungen erlauben die gleichzeitige Darstellung nur weniger Sprachen im selben Text, wenn man sich nicht damit behilft, in einem Text verschiedene Schriften mit unterschiedlichen Zeichensätzen zu verwenden. Dieses behinderte den internationalen Datenaustausch in den 1980er und 1990er Jahren erheblich.

In Unicode finden Zeichen der wichtigsten ISO-Zeichensätze wie die ISO-Normen der Serie 8859 eine 1:1-Entsprechung (das bedeutet, dass bei einer Konvertierung von ISO zu Unicode und zurück das gleiche Ergebnis herauskommt). Heute erledigen die meisten Webbrowser die Darstellung dieser Zeichensätze mit einer Unicode-kodierten Schrift in der Regel perfekt und vom Benutzer unbemerkt.

ISO 10646 ist die von ISO verwendete praktisch bedeutungsgleiche Bezeichnung des Unicode-Zeichensatzes; er wird dort als Universal Character Set (UCS) bezeichnet.

[Bearbeiten] Codes, Speicherung und Übertragung

Die Codes von Unicode-Zeichen werden hexadezimal mit vorangestelltem „U+“ dargestellt. Hierbei kann „x“ als Platzhalter verwendet werden, wenn zusammenhängende Bereiche gemeint sind, wie „U+01Fx“ für den Codebereich U+01F0–U+01FF.

Der Coderaum von Unicode umfasste ursprünglich 65.536 Zeichen (UCS-2, 16 Bit). Bald aber stellte sich dieses als unzureichend heraus. In Version 2.0 wurde der Codebereich um weitere 16 gleich große Bereiche, sogenannte Planes (Ebenen) erweitert. Somit sind nun maximal 1.114.112 (=2²⁰+2¹⁶) Zeichen bzw. Codepoints im Codebereich von U+000000 bis U+10FFFF vorgesehen (UCS-4, 32 Bit). Bislang, in Unicode 5.0, sind 99.089 Codes individuellen Zeichen zugeordnet. Das entspricht in etwa erst 9 % des Coderaumes.

Die Codebereiche (Blöcke), in die die Unicode-Ebenen untergliedert werden, sind in der Liste der Unicode-Blöcke vollständig aufgeführt. Neben den gültig kodierten Zeichen ist auch sehr langfristig, z. T. noch recht vage Geplantes aufgeführt.

Die Speicherung und Übertragung von Unicode erfolgt in unterschiedlichen Formaten:

• Unicode Transformation Format (UTF), wobei UTF-8 das gebräuchlichste ist, z. B. im Internet und in fast allen Betriebssystemen. Neben UTF-8 hat UTF-16 eine große Bedeutung, so z. B. als Zeichencodierung in Java, der dem Unicode UCS-4 für alle UCS-2 Codepoints entspricht, und alle anderen Codepoints als Zweiersequenzen, die sogenannten Surrogate Pairs, abbildet.
• SCSU (Standard Compression Scheme for Unicode, früher auch als RCSU – Reuters' Compression Scheme for Unicode – bezeichnet) ist eine Methode zur platzsparenden Speicherung, welche die Anordnung der verschiedenen Alphabete in Blöcken ausnutzt (siehe Weblinks).
• UTF-EBCDIC ist eine Unicode-Erweiterung, die auf dem proprietären EBCDIC-Format von IBM-Großrechnern aufbaut.
• Punycode dient dazu, Domainnamen mit nicht-ASCII-Zeichen zu kodieren. Siehe auch: IDNA.
• BOCU (Binary-Ordered Compression for Unicode) ist ein MIME-kompatibles Unicode-Kompressionsformat
• Außerdem gibt es die Formate CESU-8 und GB18030.

[Bearbeiten] Normierungsinstitutionen

Das gemeinnützige Unicode Consortium wurde 1991 gegründet und ist für den Industriestandard Unicode verantwortlich. Von der ISO (International Organization for Standardization) wird die internationale Norm ISO 10646 herausgegeben. Beide Institutionen arbeiten eng zusammen. Seit 1993 sind Unicode und ISO 10646 bezüglich der Zeichenkodierung identisch. Während ISO 10646 lediglich die eigentliche Zeichenkodierung festlegt, gehört zum Unicode ein umfassendes Regelwerk, das u. A. für alle Zeichen weitere zur konkreten Anwendung wichtige Eigenschaften (sogenannte Properties) eindeutig festlegt wie Sortierreihenfolge, Leserichtung und Regeln für das Kombinieren von Zeichen.

Damit ist Unicode strenggenommen eine Untermenge von ISO 10646: Während ISO 10646 Zeichencodes mit bis zu 31 Bit zulässt, sind bei Unicode maximal 21 Bit erlaubt.

[Bearbeiten] Codierungskriterien

Gegenüber anderen Normen gibt es bei Unicode die Besonderheit, dass einmal kodierte Zeichen niemals wieder entfernt werden, um die Langlebigkeit digitaler Daten zu gewährleisten. Sollte sich die Normierung eines Zeichens nachträglich als Fehler erweisen, wird allenfalls von seiner Verwendung abgeraten. Daher bedarf die Aufnahme eines Zeichens in den Standard einer äußerst sorgfältigen Prüfung, die sich über Jahre hinziehen kann.

Im Unicode werden „abstrakte Zeichen“ (engl.: characters) kodiert, nicht Glyphen. Letzteres ist die grafische Darstellung abstrakter Zeichen, die extrem unterschiedlich ausfallen kann, beim lateinischen Alphabet beispielsweise in Fraktur, Antiqua, im Irischen und in Handschriften. Für Glyphenvarianten, deren Normierung als sinnvoll und notwendig nachgewiesen wird, sind vorsorglich 256 „Variation Selectors“ vorgesehen, die ggf. dem eigentlichen Code nachgestellt werden können.

Andererseits haben Schriften, die sowohl das lateinische als auch das griechische Alphabet enthalten, doppelt kodierte identische Glyphen für die folgenden mehrdeutigen Buchstaben: Α Β Ε Ζ Η Ι Κ Μ Ν Ο Ρ Τ Υ Χ. Von vielen Zeichen gibt es nicht nur durch die Schriftart bedingte Varianten sondern auch innerhalb einer Schriftart mehr oder minder notwendige sprach-, schrift- oder kontextabhängige Glyphenvarianten und Ligaturen, zu deren Darstellung es sogenannter Smartfonttechniken wie OpenType, nicht aber einer Unicode-Kodierung bedarf. Grundsätzlich wurden und werden keine Ligaturen und sonstige zusammengesetzte Zeichen kodiert, auch wenn die Gründe für diese Politik nicht von jedermann verstanden werden. Lediglich zum Zwecke der Kompatibilität mit älteren Zeichensätzen sind Ligaturen und zusammengesetzte Zeichen enthalten.

In Grenzfällen wird hart um die Entscheidung gerungen, ob es sich um Glyphenvarianten oder kodierungswürdige Zeichen, d. h. unterschiedliche (Grapheme) handelt. Beispielsweise sind nicht wenige Fachleute der Meinung, das phönizische Alphabet könne man als Glyphenvarianten des hebräischen betrachten, da der gesamte Zeichenvorrat des Phönizischen dort eindeutige Entsprechungen hat, und auch die beiden Sprachen sehr eng verwandt sind. Die Auffassung, es handele sich um ein separates Zeichensystem, in der Unicode-Terminologie „script“, hat sich letztlich durchgesetzt. Anders verhält es sich bei CJK (Chinesisch, Japanisch und Koreanisch): Hier haben sich in den letzten Jahrhunderten die Formen vieler gleichbedeutender Schriftzeichen auseinanderentwickelt. Dennoch teilen sich die sprachspezifischen Glyphen dieselben Codes im Unicode (die Reformen Mitte des 20. Jahrhunderts – chinesische Kurzzeichen und japanische Shinjitai – sind dagegen durch unterschiedliche Codes repräsentiert). In der Praxis werden hier wohl überwiegend sprachspezifische Schriftarten verwendet, und die zeichnen sich schon durch außergewöhnliche Dateigrößen aus. Die einheitliche Kodierung der CJK-Schriftzeichen (Han Unification) war eine der wichtigsten und umfangreichsten Vorarbeiten für die Entwicklung von Unicode. Besonders in Japan ist sie durchaus umstritten. Zu Einzelheiten (engl.) siehe Weblinks.

Als der Grundstein für Unicode gelegt wurde, musste berücksichtigt werden, dass bereits eine Vielzahl unterschiedlicher Kodierungen in verbreitetem Einsatz waren. Unicode-basierte Systeme sollten herkömmlich kodierte Daten mit geringem Aufwand handhaben können. Hierzu wurde für die unteren 256 Zeichen die weit verbreitete ISO 8859-1-Kodierung (Latin1) beibehalten ebenso wie die Kodierungsarten verschiedener nationaler Normen, z. B. TIS-620 für Thailändisch (fast identisch mit ISO 8859-11) oder ISCII für indische Schriften, die in der ursprünglichen Reihenfolge lediglich in höhere Codebereiche verschoben wurden.

Verwechslungen mit Dezimalzahlen ausschließende hexadekaische Grapheme würden zwar die Codierungskriterien erfüllen, sind aber noch zu selten um in Unicode dargestellt zu werden

Jedes Zeichen maßgeblicher überkommener Kodierungen wurde in den Standard übernommen, auch wenn es den normalerweise angelegten Maßstäben nicht gerecht wird. Hierbei handelt es sich zu einem großen Teil um Zeichen, die aus zwei oder mehr Zeichen zusammengesetzt sind, wie Buchstaben mit diakritischen Zeichen. Im übrigen verfügt auch heute noch ein großer Teil der Software nicht über die Möglichkeit, Zeichen mit Diakritika ordentlich zusammenzusetzen. Die exakte Festlegung von äquivalenten Kodierungen ist Teil des zum Unicode gehörenden umfangreichen Regelwerks. Obgleich die hexadekadischen Ziffern A bis F formal die Kriterien für eine gesonderte Kodierung erfüllen, musste dieses unterbleiben, weil in der Praxis deren Funktion stets von den Buchstaben A bis F übernommen wird.

Vielen Unicode-Zeichen ist keine Glyphe zugeordnet. Auch sie gelten als „characters“. Neben den Steuerzeichen wie Zeilenvorschub (U+000A), Tabulator (U+0009) usw. sind allein 19 Zeichen explizit als Leerzeichen definiert, sogar solche ohne Breite, die u. a. als Worttrenner gebraucht werden für Sprachen wie Thai oder Tibetisch, die ohne Wortzwischenraum geschrieben werden. Für bidirektionalen Text, z. B. Arabisch mit Lateinisch, sind sieben Formatierungszeichen notwendig.

[Bearbeiten] Beispiel: Combining Grapheme Joiner (CGJ)

Der CGJ ist ein unsichtbares Sonderzeichen, das normalerweise von den Anwendungsprogrammen völlig ignoriert wird (engl.: „default ignorable“). Er soll ausdrücklich nicht zur Kennzeichnung von Glyphenvarianten o. Ä. verwendet werden. Sein Gebrauch ist wie folgt definiert:

In manchen Sprachen gibt es Digraphen und Trigraphen, die grundsätzlich als eigenständige Buchstaben behandelt, d. h. gesondert sortiert werden. Im Ungarischen beispielsweise betrifft das: cs, dz, dzs, gy, ly, ny, sz, ty und zs. Um Ausnahmen hiervon bei Bedarf zu kennzeichnen, wurde der „Combining Grapheme Joiner“ CGJ (U+034F) eingeführt. Der Name bedeutet eigentlich das Gegenteil, aber, auch das gehört zum Standard, auch die Namen kodierter Zeichen werden niemals geändert.

Trägt ein Buchstabe mehrere Diakritika darüber oder darunter, werden diese normalerweise vertikal gestapelt. Für Ausnahmefälle, in denen zwei Diakritika nebeneinander stehen müssen, sieht Unicode vor, dass ein CGJ dazwischengestellt wird. Es obliegt dem Schriftentwickler, die Erscheinungform der Zeichenfolgen „Diakritikon1 CGJ Diakritikon2“ festzulegen, auf die dann mittels einer Schrifttechnik wie OpenType zugegriffen werden kann.

Die im Standard festgelegte Eigenschaft „default ignorable“ qualifiziert den CGJ, in Sonderfällen auch andere sonst unnötige feine Unterschiede zu markieren. So kann die Datenverarbeitung deutscher Bibliotheken die Unterscheidung von Umlaut und Trema erfordern; meistens für fremdsprachige Namen. Hier empfiehlt Unicode, dem Trema (U+0308) den CGJ voranzustellen, um es als Umlaut zu kennzeichnen. Die ursprünglich vom DIN vorgeschlagene nachträgliche gesonderte Kodierung der Umlaut-Punkte hätte zu einer kaum vertretbaren Inkonsistenz großer Datenmengen geführt.

[Bearbeiten] Eingabemethoden

Will man ein Unicode-Zeichen (zum Beispiel „⊕“) in HTML oder XML verwenden, sucht man es zunächst aus der entsprechenden Tabelle (hier: Mathematische Symbole). Dort ist seine Zeichennummer hexadezimal angegeben. Mit dieser Zeichennummer erstellt man dann eine Zeichenentität durch Voranstellen von „&#x“ und Anfügen eines Semikolons, eben „⊕“. Die Zeichennummer kann in der Zeichenentität auch dezimal, dann ohne führendes „x“, angegeben werden, zum Beispiel „⊕“ für das gleiche Zeichen. Die Text Encoding Initiative TEI hat Empfehlungen erarbeitet, Unicode in XML-Dateien in leichter verständlicher Form einzugeben. Hier handelt es sich um einen Satz benannter Zeichen (engl.: named entities), der in das Stylesheet integriert wird. Allgemein übliche benannte Zeichen sind z. B. die Umlaute wie „Ä“ statt „Ä“ für Ä.

Im Vi Improved kann man Unicode-Zeichen (Voraussetzung: Unicode-basierte Locale oder als Unicode, zum Beispiel UTF-8, erkannte Datei) eingeben, indem man Strg+V U und dann die hexadezimale Zeichennummer drückt, also zum Beispiel Strg+V U 2 0 A C für das Euro-Zeichen. Eine alternative Eingabemöglichkeit ist die Benutzung der Digraph-Methode des Vim.

In Emacs ab Version 21.4 kann man Unicode-Zeichen eingeben, indem man Meta+X ucs-insert und dann die hexadezimale Zeichennummer eingibt.

GNOME unterstützt die Eingabe über die Kombination Strg+Umschalttaste+<unicode> bzw. in neueren Versionen Strg+U+<unicode> bzw. Strg+Umschalttaste+U+<unicode>. Auch hier erfolgt die Eingabe in hexadezimaler Form.

Unter Windows (ab Windows 2000) kann in vielen Programmen der Code hexadezimal eingegeben werden. Mit nachfolgendem Alt+X, innerhalb von MS Word 2003 aber Alt+C, wird das Zeichen erzeugt. Diese Tastenkombination kann unter Windows XP auch benutzt werden, den Code des vor dem Cursor stehenden Zeichens anzuzeigen.

Bei Apple-Computern muss die Unicode-Hex-Tastenbelegung aktiviert werden. Danach wird der Code bei gedrückter Alt-Taste eingegeben.

Ob das entsprechende Unicode-Zeichen auch tatsächlich am Bildschirm erscheint, hängt davon ab, ob die verwendete Schriftart eine Glyphe für das gewünschte Zeichen (also eine Grafik für die gewünschte Zeichennummer) enthält. Oftmals, z. B. unter Windows, wird, falls die verwendete Schrift ein Zeichen nicht enthält, nach Möglichkeit ein Zeichen aus einer anderen Schrift eingefügt. In der Typografie gilt so etwas als Fehler namens Zwiebelfisch, z. B. wenn in einem lateinischen Sans-Serif-Text plötzlich ein griechisches Wort in Serifen gesetzt wird. In Webbrowsern hingegen ist dieses zwar hässlich aber überaus nützlich. Man könnte in diesem Zusammenhang von einem Unicode-Zwiebelfisch sprechen.

[Bearbeiten] Schriftarten

Mittlerweile hat der Coderaum von Unicode/ISO einen Umfang angenommen (mehr als 99.000 Schriftzeichen), der sich nicht mehr vollständig in einer Schriftdatei unterbringen lässt. PostScript-CFF-, TrueType- und OpenType-Schriftdateien können maximal 65.536 Zeichen enthalten. So versteht es sich von selbst, dass Unicode/ISO-Konformität einer Schrift nicht bedeutet, dass der komplette Zeichensatz enthalten ist, sondern lediglich, dass die darin enthaltenen Zeichen normgerecht kodiert ist. Die derzeit umfangreichste Schrift – in drei Dateien aufgeteilt – ist Code 2000 bis Code 2002 von James Kass^[1], sie ist als Shareware erhältlich, bildet jedoch auch nicht jedes Unicode-Zeichen ab.

Quellen von Unicode-Schriften siehe Weblinks.

[Bearbeiten] Versionen von Unicode

In den letzten Jahren erscheinen neue Versionen jeweils im Frühjahr, wobei in der letzten Zeit jährlich etwa 1000 Zeichen neu aufgenommen werden.

• DP 10646 1989 (Vorschlag für den Entwurf von ISO 10646, unabhängig von Unicode)
• DIS-1 10646 1990 (Erster Entwurf für ISO 10646, unabhängig von Unicode)
• Unicode 1.0.0 Oktober 1991
• Unicode 1.0.1 Juni 1992 (Modifikationen um eine Zusammenführung mit ISO 10646 zu ermöglichen)
• Unicode 1.1.0 Juni 1993 (Unicode und ISO-Norm erstmals vereinigt: Codes identisch mit ISO 10646-1: 1993)
• Unicode 1.1.5 Juli 1995
• Unicode 2.0.0 Juli 1996 (Abgleich mit ISO 10646 Erweiterungen)
• Unicode 2.1.2 Mai 1998 (unter anderem Einführung des Eurozeichens)
• Unicode 2.1.5 August 1998
• Unicode 2.1.8 Dezember 1998
• Unicode 2.1.9 April 1999
• Unicode 3.0.0 September 1999 (Abgleich mit ISO 10646-1: 2000)
• Unicode 3.0.1 August 2000
• Unicode 3.1.0 März 2001 (Abgleich mit ISO 10646-2: 2001)
• Unicode 3.1.1 August 2001
• Unicode 3.2.0 März 2002
• Unicode 4.0.0 April 2003 (Abgleich mit ISO 10646: 2003)
• Unicode 4.0.1 März 2004
• Unicode 4.1.0 März 2005
• Unicode 5.0.0 Juli 2006 mit nunmehr 99.000 Zeichen^[2]

[Bearbeiten] Software

Das freie Programm gucharmap (für Linux/UNIX) stellt den Unicode-Zeichensatz auf dem Bildschirm dar und bietet zusätzliche Informationen zu den einzelnen Zeichen.

Microsoft Windows liefert entsprechend „charmap.exe“ (Zeichentabelle) mit. Unter Apple Mac OS X steht ebenfalls eine systemweite Zeichenpalette bereit.

Das ebenfalls freie Programm „Quick Key“ (für Windows)^[3] stellt eine einfache Methode dar, häufig benötigte Unicode-Zeichen schnell einzugeben. Dazu stellt es eine frei zusammenstellbare Zeichentabelle zur Verfügung, deren Einträge per Klick in andere Programme eingefügt werden können.

[Bearbeiten] Siehe auch

• Byte Order Mark
• Windows Glyph List 4 – (WGL4)
• UTF-8
• UTF-16
• UTF-32

Für Hinweise zur Darstellung ausländischer Schriften in Wikipedia-Artikeln im Browser siehe Wikipedia:UTF-8-Probleme

[Bearbeiten] Einzelnachweise

1. ↑ http://www.code2000.net/
2. ↑ Unicode Consortium: Unicode Character Database 5.0 Released, 18. Juli 2006
3. ↑ http://quickkeydotnet.sourceforge.net/

[Bearbeiten] Standards

• RFC 3629 (UTF-8, a transformation format of ISO 10646)
• RFC 3492 (Punycode, für Sonderzeichen in Domainnamen)
• BOCU, MIME-kompatible Unicode-Kompression – engl.

[Bearbeiten] Literatur

• Joan Aliprand (Hrsg.): The Unicode Standard Version 4.0. Addison Wesley, Boston MA 2003. ISBN 0-321-18578-1
  (Die offizielle Publikation zum Weltstandard – mehr als 1.300 Seiten mit Tabellen, Texten und Hintergrundinformationen für Programmierer, nicht sehr verständlich für Einsteiger)
• Richard Gillam: Unicode Demystified, a practical programmer’s guide to the encoding standard. Addison Wesley, Boston MA 2003. ISBN 0-201-70052-2
  (guter, verständlicher Überblick)

[Bearbeiten] Weblinks

• Offizielle Website des Unicode Consortium (engl.)
• decodeunicode, Unicode-Wiki, Erklärungen zu 1.500 Zeichen, 51.000 Abbildungen (deutsch/engl.)
• Code table – The Unicode Character Code Charts By Script (engl.)
• UTF-8- und Unicode-FAQ für Unix/Linux (engl.)
• Das Unicode-System – Beschreibung im HTML-Kompendium SELFHTML
• Unicodeanalysator analysiert Text und zeigt Unicodenummer, UTF-8-Darstellung und „falschen“ Code an
• Imperia Unicode- und Multi-Language – Einführung in Unicode
• Einführung, Codetabellen (deutsch)
• Software zur Verarbeitung von Unicode Zeichenketten:
  • ICU – International Components for Unicode von IBM
  • utf8proc – Eine Softwarebibliothek für Unicode Normalisierung und Case-Folding
• Allan Wood: Unicode – Übersicht über viele kostenlose und kommerzielle, umfangreiche und spezialisierte Unicode-Schriften
• Joel Spolsky: The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) – Artikel enthält allerdings etliche faktische Fehler