Unicode编码方案简介及实现

部分摘自：维基百科（http://zh.wikipedia.org/wiki/Unicode）

百度知道（http://baike.baidu.com/view/40801.htm）

为了使内容简练，所以删去了很多东西。如果查看详细内容，请查看上面的链接。

大概来说，Unicode 编码系统可分为编码方式和实现方式两个层次。

编码方式
Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符，或者说有1114112个码位。码位就是可以分配给字符的数字。

通用字符集（Universal Character Set，UCS）是由ISO制定的ISO 10646（或称ISO/IEC 10646）标准所定义的标准字符集。UCS-2用两个字节编码，UCS-4用4个字节编码。

实现方式

UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。UTF是“UCS Transformation Format”的缩写，可以翻译成Unicode字符集转换格式，即怎样将Unicode定义的数字转换成程序数据。

例如，“汉字”对应的数字是0x6c49和0x5b57，而编码的程序数据是：

BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码

WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码

DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码

BYTE、WORD、DWORD分别表示无符号8位整数，无符号16位整数和无符号32位整数。

UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。

“汉字”的UTF-8编码需要6个字节。“汉字”的UTF-16编码需要两个WORD，大小是4个字节。“汉字”的UTF-32编码需要两个DWORD，大小是8个字节。根据字节序的不同，UTF-16可以被实现为UTF-16LE或UTF-16BE，UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、UTF-32、字节序和BOM。

（1）UTF-8

UTF-8以字节( Byte )为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下：

Unicode编码(16进制)　║　UTF-8 字节流(二进制)

000000 - 00007F　      ║　0xxxxxxx

000080 - 0007FF　      ║　110xxxxx 10xxxxxx

000800 - 00FFFF　     ║　1110xxxx 10xxxxxx 10xxxxxx

010000 - 10FFFF　     ║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-8的特点是对不同范围的字符使用不同长度的编码，因此UTF-8编码也称为变长编码（这点很关键呀！）。

对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。

从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。

例1：“汉” 的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：1110011010110001 10001001，即E6 B1 89。

例2：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用用4字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：00010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。

（2）UTF-16

UTF-16编码以16位无符号整数为单位（一个字符占两个字节）。我们把Unicode编码记作U。

（3）UTF-32

UTF-32编码以32位无符号整数为单位（一个字符占用4个字节）。Unicode的UTF-32编码就是其对应的32位无符号整数。
编码方式之间的一些转换（不全，自己找的一些材料，没有进行验证）