字符集（二）-unicode实现方式utf-8

    在字符集(一)里面，我们提到了unicode编码方案最多可以包含1114112(0x10FFFF)个字符。那么在编程的时候我们怎么实现1114112字符呢？

    UTF-8、UTF-16、UTF-32就是将数字转换到程序数据的编码方案。 这里我们介绍常见的utf-8方案。

 

　　UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下：

 

　　Unicode编码(16进制)　║　UTF-8 字节流(二进制)

　　000000 - 00007F　    ║　0xxxxxxx                                                                  （1字节）

　　000080 - 0007FF　    ║　110xxxxx 10xxxxxx                                                （2字节）

　　000800 - 00FFFF　     ║　1110xxxx 10xxxxxx 10xxxxxx                              （3字节）

　　010000 - 10FFFF　     ║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx             （4字节）

 

 

　　UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。

　　例1：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

　　例2：Unicode编码0x20C30在0x010000-0x10FFFF之间，使用用4字节模板了：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字（不足21位就在前面补0）：0 0010 0000 1100 0011 0000，用这个比特流依次代替模板中的x，得到：11110000 10100000 10110000 10110000，即F0 A0 B0 B0。

 

    utf-16、utf-32编码方案雷同，不再详说。。。