GB2312，UTF-8

GB2312

gb2312规则汉字采用双字节编码其中第一字节161~247,第二字节161~254，其中含有边界条件

1010,0001-1111,0111 | 1010,0001-1111,1111

 

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下：

 

UCS-2编码(16进制) UTF-8 字节流(二进制)

 

0000 - 007F 0xxxxxxx  与ascii一致

 

0080 - 07FF 110xxxxx 10xxxxxx

 

0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx

 

例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间，所以肯定 要用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 110001 001001，用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

UTF-8编码有两到6个字节，第一个字节打头的1的个数标明了字节总数。

汉字是3个字节，所以UTF-8编码的文件比GB2312大。url编码是在字节前加%。所以UTF-8编码每个汉字必然以%E打头。

第一个字节最多6个1打头，也就是不能取，FE,FF,

后面的字节同样至少要1个1打头，且不会取FE,FF,（1-6个1）

UTF的字节序和BOM

UTF-8以字节为编码单元，没有字节序的问题。UTF-16以两个字节为编码单元，在解释 一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我 们收到UTF-16字节流“594E”，那么这是“奎”还是“乙”？

Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表，而是Byte order Mark。BOM是一个有点小聪明的想法：

在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输 字符"ZERO WIDTH NO-BREAK SPACE"。

这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF（读者可以用我们前面介绍的编码方法验证一下）。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。

Windows就是使用BOM来标记文本文件的编码方式的。