Unicode

はじめは16ビット→いろいろあって21ビット

16ビット(2バイト)あれば 2¹⁶=65536 文字を登録できます。漢字を知っている人ならすぐに足りないと感じますが、最初はこれで全世界の文字を登録できると思っていた様です。

当然不足して、32ビット(4バイト)にする案もあったのですが、いろいろあって結局 21ビット(3バイトより少ない)に落ち着きました。 0～10FFFF です。

16進の1桁は4ビットですから、5桁で20ビット、それに1ビットを足して21ビットです。21ビットで表せる文字数は、2²¹=2097152 ですが、それは 1FFFFF まで使う場合です。実際には 10FFFF までですので 1114112 文字になります。

第0面から第16面までの17面が使えて、1面は16ビットですから、2¹⁶×17=1114112 です。

Unicodeスカラ値

文字セットは16進数にU+をつけて U+0000～U+10FFFF で表します。これをUnicodeスカラ値といいます。

第0面は16進数で4桁で U+0000～U+FFFF と表します。この16ビット(2バイト)で表現できる部分は65536文字で、ここには基本的な文字を登録してあり、基本多言語面(BMP)と呼ばれます。

BMPの他に16ビット65536文字の面が16あります。0000～FFFF の前に 1,2,3,...D,E,F,10 と 16進数で 1から16 の番号がついていると考えれば理解できると思います。

UTF-16 エンコード

JISで面区点で示された文字を実際に使うときに、ISO-2022-JP,Shift_JIS,EUC-JPなどさまざまなエンコーディングを使用したのと同様に、Unicodeにもたくさんの方式があります。主に使われているのは UTF-8 と UTF-16 の2つです。

UTF-16 具体例

Unicodeスカラ値の第0面(基本多言語面)は、ほとんどそのままUTF-16の文字コード(2バイト=16ビット)になります。

𠀋(じょう)など第0面にない漢字は、サロゲートペアで表します。予約してある2048個のコードを2つ組み合わせて4バイト=32ビットにして表示する仕組みです。

UTF-16 文字の割り当てとサロゲートペアの位置

Unicodeスカラ値の第0面が、ほとんどそのままUTF-16のコードになります。下の表の文字の配置表はそのままUnicodeスカラ値の第0面の配置表でもあります。

上位代用と下位代用の部分は文字が直接割り当てられていません。上位代用の2バイトと下位代用の2バイトを組み合わせて第1面から第16面までの文字を表します。これをサロゲートペア(代用対)といいます。

サロゲートペアの上位は U+D800〜U+DBFF, 下位は U+DC00〜U+DFFF で、それぞれ1024字分あります。組み合わせると 1024×1024=1048576文字になります。これで第1面から第16面までの文字 65536×16=1048576文字を表すことができます。

UTF-16 サロゲートペアの計算法

第1面から第16面のユニコードスカラ値を$unicodeとするとサロゲートペアの上位と下位はそれぞれ次のように計算します。

ただし0xは16進数であることを表し、/は切り捨てをする割り算、%は割り算のあまりを求める計算です。

上位 = ($unicode - 0x10000) / 0x400 + 0xD800;
下位 = ($unicode - 0x10000) % 0x400 + 0xDC00;

元に戻すには

$unicode = 0x10000 + (上位 - 0xD800) * 0x400 + (下位 - 0xDC00);

UTF-16 はもともと全部の文字を2バイトで表現できると思っていたときの方式です。Unicodeスカラ値の16進数4桁(2バイト)をそのまま使っていました。

しかし、これでは不足だと分かってから、まだ文字を登録していなかった 0xD800〜0xDFFF の2048文字分の領域に直接文字を割り付けずに、前半の0xD800〜0xDBFFから1文字分、後半0xDC00〜0xDFFFから1文字分のコードを組み合わせて2文字分つまり4バイトで1文字ということにしました。

これにより2048文字分だった範囲を使って 1024×1024=1048576 文字分を生み出したことになります。

UTF-8 エンコード

UTF-8は１～４バイト(初期の定義では６バイトまであった)の可変長コードです。

UTF-8 文字の区切りがわかる仕組み

それぞれの1バイトの値で、それが文字の最初のバイトであるか、2バイト目以降のバイトであるかがわかるようになっています。

UTF-8 への換算

U+XXXX と表されるUnicodeスカラ値からUTF-8への換算方法です。もちろん逆も可能。

ビットの状態にしてから切り貼りをしています。

UTF-8 への換算の具体例

(3)の領域から2つ、(4)から1つ例をあげます。

文字      : 聖
スカラー値: U+8056
          : 8    0    5    6
二進にして: 1000 0000 0101 0110
並べかえて: 1110 1000 1000 0001 1001 0110
16進にして: E    8    8    1    9    6
UTF-8     : E8 81 96

文字      : 愛
スカラー値: U+611B
          : 6    1    1    B
二進にして: 0110 0001 0001 1011
並べかえて: 1110 0110 1000 0100 1001 1011
16進にして: E    6    8    4    9    B
UTF-8     : E6 84 9B

文字      : 𡈽
スカラー値: U+2123D
          : 2    1    2    3    D
二進にして: 0010 0001 0010 0011 1101
並べかえて: 1111 0000 1010 0001 1000 1000 1011 1101
16進にして: F    0    A    1    8    8    B    D
UTF-8     : F0 A1 88 BD

ちなみに、UTF-8に上記の方法で換算するときは、必ずUnicodeスカラ値から換算します。サロケートペアから換算してはいけません。

UTF-8 と UTF-16 の比較