Unicode

はじめは16ビット→いろいろあって21ビット

16ビット(2バイト)あれば 2¹⁶=65536 文字を登録できます。漢字を知っている人ならすぐに足りないと感じますが、最初はこれで全世界の文字を登録できると思っていた様です。

当然不足して、32ビット(4バイト)にする案もあったのですが、いろいろあって結局 21ビット(3バイトより少ない)に落ち着きました。しかも 0～10FFFF です。

この中途半端なビット数のために、文字セットの表現もエンコード方式の表現もちょっとくせがあります。

文字セットの表現

文字セットは16進数にU+をつけて U+0000～U+10FFFF で表します。これをUnicodeスカラ値といいます。

16ビット(2バイト)で表現できる部分は16進数で4桁で表現します。 U+0000～U+FFFF です。ここには基本的な文字を登録してあり、基本多言語面(BMP)と呼ばれます(この他はあまり使われない漢字がほとんどを占めます)。

これで表現できない部分は U+10000～U+10FFFF までです。16進数で必要な桁数を使って表現します。

エンコード

JISで面区点で示された文字を実際に使うときに、2022(JIS),Shift_JIS,EUC-JPなどさまざまなエンコーディングを使用したのと同様に、Unicodeにもたくさんの方式があります。主に使われているのは UTF-8 と UTF-16 の2つです。

UTF-16

UTF-16 はもともと全部の文字を2バイトで表現できると思っていたときの方式です。Unicodeスカラ値の16進数4桁(2バイト)をそのまま使っていました。

しかし、これでは不足だと分かってから、まだ文字を登録していなかった 0xD800〜0xDFFF の2048文字分の領域に直接文字を割り付けずに、前半の0xD800〜0xDBFFから1文字分、後半0xDC00〜0xDFFFから1文字分のコードを組み合わせて2文字分つまり4バイトで1文字ということにしました。これにより2048文字分だった範囲を使って 1024×1024=1 048 576 文字分を生み出したことになります。

UTF-8

UTF-8は１～４バイト(初期の定義では６バイトまであった)の可変長コードです。

それぞれの1バイトの値で、それが文字の最初のバイトであるか、2バイト目以降のバイトであるかがわかるようになっています。