一篇文章带你搞懂字符编码(冰墩墩都说妙)

字符编码的问题看似很小，经常被技术人员忽视，但是很容易导致一些莫名其妙的问题。这里总结了一下字符编码的一些普及性的知识，希望对大家有所帮助。

ASCII码

美国国家标准协会ANSI制定了一个标准，规定了常用字符的集合以及每个字符对应的编号，这就是ASCII字符集（Character Set），也称ASCII码。
当时的计算机普遍使用8比特字节作为最小的存储和处理单元，加之当时用到的字符也很少，26个大小写英文字母还有数字再加上其他常用符号，也不到100个，因此使用7个比特位(2^7=128)就可以高效的存储和处理ASCII码，剩下最高位1比特被用作一些通讯系统的奇偶校验。下图为ASCII码字符集：

图中，每个字符都有对应的数字，叫做码点。如A对应的码点为65。

Unicode字符集

Unicode字符集涵盖了目前人类使用的所有字符，并为每个字符进行统一编号，分配唯一的字符码（Code Point）。Unicode字符集将所有字符按照使用上的频繁度划分为17个层面（Plane），每个层面上有216=65536个字符码空间。

编码系统的变化

在Unicode出现之前，所有的字符集都是和具体编码方案绑定在一起的，这种方式的缺点在于，字符和字节流之间耦合得太紧密了，从而限定了字符集的扩展能力。假设以后火星人入住地球了，要往现有字符集中加入火星文就变得很难甚至不可能了，而且很容易破坏现有的编码规则。因此Unicode在设计上考虑到了这一点，将字符集和字符编码方案分离开。

常见的Unicode编码

UTF-8

如图所示

• 如果一个字节的第一位为0，那么代表当前字符为单字节字符，占用一个字节的空间。0之后的所有部分（7个bit）代表在Unicode中的序号。
• 如果一个字节以110开头，那么代表当前字符为双字节字符，占用2个字节的空间。110之后的所有部分（5个bit）加上后一个字节的除10外的部分（6个bit）代表在Unicode中的序号。且第二个字节以10开头
• 如果一个字节以1110开头，那么代表当前字符为三字节字符，占用3个字节的空间。110之后的所有部分（5个bit）加上后两个字节的除10外的部分（12个bit）代表在Unicode中的序号。且第二、第三个字节以10开头
• 如果一个字节以10开头，那么代表当前字节为多字节字符的第二个字节。10之后的所有部分（6个bit）和之前的部分一同组成在Unicode中的序号。

utf-8的好处是

• 支持ascii：一个utf-8遍码的英文文本用ascii读取没有任何问题
• 节约空间：utf-8让unicode里码点小的字符也相应拥有更短的长度

UCS-2/UTF-16

如果要我们来实现Unicode字符集中BMP字符的编码方案，我们会怎么实现？由于BMP层面上有216=65536个字符码，因此我们只需要两个字节就可以完全表示这所有的字符了。
举个例子，“中”的Unicode字符码是0x4E2D(01001110 00101101)，那么我们可以编码为01001110 00101101（大端）或者00101101 01001110 （小端）。
UCS-2和UTF-16对于BMP层面的字符均是使用2个字节来表示，并且编码得到的结果完全一致。不同之处在于，UCS-2最初设计的时候只考虑到BMP字符，因此使用固定2个字节长度，也就是说，他无法表示Unicode其他层面上的字符，而UTF-16为了解除这个限制，支持Unicode全字符集的编解码，采用了变长编码，最少使用2个字节，如果要编码BMP以外的字符，则需要4个字节结对，这里就不讨论那么远，有兴趣可以参考维基百科。
Windows从NT时代开始就采用了UTF-16编码，很多流行的编程平台，例如.Net，Java，Qt还有Mac下的Cocoa等都是使用UTF-16作为基础的字符编码。例如代码中的字符串，在内存中相应的字节流就是用UTF-16编码过的。

锟斤拷

锟斤拷是常见的中文乱码，常见到了有了知名度

unicde字符集有一个特殊的替换符号，专门用于展示无法识别或展示的字符，如图所示：

有些编辑器在编码为utf-8时会把无法识别或者展示的字符自动替换为这个替换符号，用于提示用户。
而如果用户点击了保存，它在utf-8编码后则是3字节长度的二进制数字。

2个问号字符连在一起，把文件再用GBK编码读取，打开后就会看到以前是2个替换符号的地方现在都变成了锟斤拷。

参考

1. 关于字符编码，你所需要知道
2. 你懂乱码吗？锟斤拷烫烫烫（详解ASCII、Unicode、UTF-32、UTF-8编码）
3. [十分钟搞清字符集和字符编码](