字符集与编码

字符集与编码

ANSI编码

ANSI(American National Standard Institute),美国国家标准协会编码标准，面向世界范围内的国别之间的交流。以一种扩展的ASCII（American Standard Code for Inofrmation Interchange）编码。不同的国家和地区制定了不同的标准，由此产生了GB2312、GBK、GB18030、Big5、Shift_JIS等各自的编码标准。这些使用多个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码。GB2312,GBK,GB18030都是为了实现中文的编码而制定的编码方案。不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。

Unicode编码

Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准,包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。Unicode的编码方式与ISO 10646的通用字符集（Universal Multiple-Octet Coded Character Set，UCS）概念相对应，目前实际应用的Unicode版本对应于UCS-2，使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示2^16=65536个字符。基本满足各种语言的使用。如果还不够也没有关系，Unicode还在不断扩充，ISO已经准备了UCS-4方案，简单来说就是用四个字节来表示一个字符，可以组合出21亿个字符出来。实际上当前版本的Unicode尚未填充满这16位编码，保留了大量空间作为特殊使用或将来扩展，Unicode是一个字符集，是一种编码标准，几乎包含了目前世界上一致的所有字符，该字符集与二进制代码一一映射，因此Unicode是一个把所有文字进行编号的标准，而UTF-8,UTF-16,UTF-32是一种将这些编号转成二进制位元的方式，是一种编码方案。用英文来讲：Unicode is a charset,UTF-8 is encoding。

Unicode编码实现方式

Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对Unicode编码的实现方式有所不同,相较于UTF编码，Unicode可以看做字符集，UTF是解决不同系统平台兼容性数据传输的编码方案。

UTF编码

Unicode的实现方式称为Unicode字符集转换格式（Unicode Transformation Format，简称为UTF）。它是为了解决Unicode字符在网络上进行传输的问题而出现的编码方案。例如，如果一个仅包含基本7位ASCII字符的Unicode文件，如果每个字符都使用2字节的原Unicode编码传输，其第一字节的8位始终为0。这就造成了比较大的浪费。对于这种情况，可以使用UTF-8编码，这是一种变长编码，它将基本7位ASCII字符仍用7位编码表示，占用一个字节（首位补0）。而遇到与其他Unicode字符混合的情况，将按一定算法转换，每个字符使用1-3个字节编码，并利用首位为0或1进行识别。这样对以7位ASCII字符为主的西文文档就大大节省了编码长度（具体方案参见UTF-8）。类似的，对未来会出现的需要4个字节的辅助平面字符和其他UCS-4扩充字符，2字节编码的UTF-16也需要通过一定的算法进行转换。

UTF编码分类

UTF编码应用比较广泛的有UTF-8编码、UTF-16编码、UTF-32编码。

1. UTF-8的英文全称为8-bit Unicode Transformation Formate,编码方式就是一个字符要怎样编码成二进制字节序列，或者是反过来怎么解析,其本质就是给Unicode字符进行标记，使得计算机以固定的规则对字符进行编码和解码，避免传输过程中引起信息错乱。即给你一个数字序号，要编码成几个字节，字节顺序如何，或者其他特殊规则。我们通过网络协议传输数据是通信双方会告知对方数据的编码方式，这样对方收到数据之后才能按相应的编码方式进行解析。
2. UTF-8是以字节为单位对Unicode字符进行编码，UTF-16编码以16位无符号整数为单位。UTF-32编码以32位无符号整数为单位。有兴趣的可以了解从Unicode到UTF-8、UTF-16、UTF-32的编码规则。
3. ​

UTF-8编码的优势

UTF-8是在互联网上使用最广的一种Unicode实现方式，它是为传输而设计的编码，并使编码无国界，UTF-8编码最大的一个特点，就是它是一种变长的编码方式。它可以用1~4个字节表示一个字符，这里的字符是指一个与文化相关的符号，字节是一个8位的物理存储单元。根据不同的字符而变化字节长度，当字符在ASCII码的范围时，就用一个字节表示， 保留了ASCII字符一个字节的编码作为它的一部分，即兼容了ASCII编码，需要注意地是，Unicode一个中文字符占两个字节，而UTF-8一个中文字符占三个字节。从Unicode到UTF-8并不是直接的对应，而是要通过一些算法和规则来转换。使用UTF-8编码方案还有如下优势：

1. 乱码不会扩散，GB2312在丢失一个字节等情况下会造成后续所有文字编程乱码。
2. 兼容ASCII编码。
3. UTF-8编码在各种操作系统和语言环境当中的支持也普遍比较好。UTF-8编码到Unicode字符集的映射是固定的，因此在Unicode字符集扩充之后，UTF-8也就自动进行了扩充。
4. 相较于UTF-16编码和UTF-16编码，它们都有大小端的问题，而UTF-8没有。

一个有趣的现象

当你在 windows 的记事本里新建一个文件，输入"联通"两个字之后，保存，关闭，然后再次打开，你会发现这两个字已经消失了，代之的是几个乱码！如下图：

notepad.png

其实这是因为GB2312编码与UTF8编码产生了编码冲撞的原因。而当你新建一个文本文件时，记事本的编码默认是ANSI, 如果你在ANSI的编码输入汉字，那么他实际就是GB系列的编码方式，在这种编码下，"联通"的内码是：

c1 1100 0001
aa 1010 1010
cd 1100 1101
a8 1010 1000

注意到了吗？第一二个字节、第三四个字节的起始部分的都是"110"和"10"，正好与UTF8规则里的两字节模板是一致的，于是再次打开记事本时，记事本就误认为这是一个UTF8编码的文件，让我们把第一个字节的110和第二个字节的10去掉，我们就得到了"00001 101010"，再把各位对齐，补上前导的0，就得到了"0000 0000 0110 1010"，不好意思，这是UNICODE的006A，也就是小写的字母"j"，而之后的两字节用UTF8解码之后是0368，这个字符什么也不是。这就是只有"联通"两个字的文件没有办法在记事本里正常显示的原因。而如果你在"联通"之后多输入几个字，其他的字的编码不见得又恰好是110和10开始的字节，这样再次打开时，记事本就不会坚持这是一个utf8编码的文件，而会用ANSI的方式解读之，这时乱码又不出现了。我们在通过windows系统下，通过记事本进行保存文档时，可以选择编码方式，如下图：

Encode.png

上面我们已经说过，UTF-8是Unicode编码方式的实现，所以这里的Unicode编码特指Unicode字符集编码实现方式中的UTF-16编码，而非我们所指的Unicode编码。