字符的编码（二）

（三）字符编码的由来

一、为什么需要对字符进行编码

计算机一开始发明出来时是用来解决数字计算问题的，后来人们发现，计算机还可以做更多的事，例如文本处理。

但计算机其实挺笨的，它只“认识”010110111000…这样由0和1两个数字组成的二进制数字，这是因为计算机的底层硬件实现就是用电路的开和闭两种状态来表示0和1两个数字的。因此，计算机只可以直接存储和处理二进制数字。

为了在计算机上也能表示、存储和处理像文字、符号等等之类的字符，就必须将这些字符转换成二进制数字。

当然，肯定不是我们想怎么转换就怎么转换，否则就会造成同一段二进制数字在不同计算机上显示出来的字符不一样的情况，因此必须得定一个统一的、标准的转换规则。

二、EBCDIC码与ASCII码

于是最开始出现了EBCDIC(Extended Binary Coded Decimal Interchange Code扩展二进制编码的十进制交换码)编码标准。EBCDIC码是由国际商用机器公司(IBM)为大型机操作系统而开发设计的，于1964年推出。

在EBCDIC码中，英文字母不是连续排列的，中间出现多次断续，这带来了一些困扰和麻烦。

因此，在后来IBM的个人计算机和工作站操作系统中并没有采用EBCDIC码，而是采用了晚于EBCDIC码推出、且后来成为了英文字符编码工业标准的ASCII编码方案。

image.png

ASCII码(American Standard Code for Information Interchange美国信息交换标准码)，由美国国家标准学会ANSI(American National Standard Institute)于1968年正式制定。

之后，又于1972年被ISO/IEC采用，制定为ISO/IEC 646标准(ISO，即国际标准化组织International Standardization Organization，成立于1946年；IEC，即国际电工技术委员会International Electrotechnical Commission，成立于1906年；ISO/IEC往往用来表示由这两大国际组织联合制定的标准)。

由于ASCII码要晚于EBCDIC码出现(网上也有文章说是ASCII码要早于EBCDIC码开始设计，但1968年ASCII码才正式确定为标准)，ASCII码的编码方式参照了EBCDIC码，并吸取了其经验教训，将英文字母进行了连续排列，这方便了程序处理。

ASCII编码方案虽然不是最早出现的字符编码方案，但却是最基础、最重要、应用最广泛的字符编码方案。

目前所通行的其他字符编码方案，比如ISO-8859、GB系列(GB2312、GBK、GB18030、GB13000)、Big5、Unicode等等，均直接或间接兼容ASCII码。

而像EBCDIC这样与ASCII完全不兼容的编码方案，基本上处于已淘汰或将要淘汰的境地。

三、ASCII字符编码方案介绍

ASCII码使用七个二进制数字(bit比特、位)来表示一个字符，总共表示128个字符(2^7 = 128，二进制编码为0000 0000 ~ 0111 1111，对应的十进制就是0~127)。

由于个人计算机普遍采用8位一个字节来进行存取与处理，因此剩下最高位的那1比特一般为0，但有时也被用作一些通讯系统的奇偶校验位。

image.png

ASCII字符集共计有128个字符(见上表)，码点编号(即字符编号)从0到127(二进制为从0000 0000到0111 1111，十六进制为从0x00到0x7F)，二进制最高位都是0。其中：

1）0~31：控制字符或通讯专用字符(不可显示不可打印字符)，如0x07(BEL响铃)会让计算机发出哔的一声、0x00(NUL空，注意不是空格)通常用于指示字符串的结束、0x0D(CR回车)和0x0A(LF换行)用于指示打印机的打印针头退到行首(即回车)并移到下一行(即换行)等。

2）32~126：可显示可打印字符(其中32为可显示但不可打印的空格字符)，48~57为0-9的阿拉伯数字，65~90为26个大写英文字母，97~122为26个小写英文字母，其余的是一些标点符号、运算符号等。

3）127：控制字符DEL。

这时候的字符编解码非常简单，比如若要将字符序列编码为二进制流写入存储设备，只需要将该字符序列里的各个字符在ASCII字符集中的字符编号(即码点编号)，直接以一个二进制字节写入存储设备即可，字符编号就是字符编码，中间不需要经过特别的编码算法进行字符编号到字符编码的转换计算，更不存在所谓码元序列到字节序列的转换。

四、EASCII及ISO 8859字符编码方案

计算机出现之后，首先逐渐从美国发展到了欧洲。由于欧洲很多国家所用到的字符中，除了基本的、美国也用的那128个ASCII字符之外，还有很多衍生的拉丁字母等字符。比如，在法语中，字母上方有注音符号；而欧洲其他国家也有各自特有的字符。

考虑到一个字节能够表示的编码实际上有256个(2^8 = 256)，而ASCII字符却只用到了一个字节中的低7位(因此在ASCII码中最高位总是为0)，编号为0x00_{0x7F(十进制为0}127)。也就是说，ASCII只使用了一个字节所能表示的256个编码中的前128个(2^7 = 128)编码，而后128个编码相当于被闲置了。因此，欧洲各国纷纷打起了后面这128个编码的主意。

可问题在于，欧洲各国同时都有这样的想法。于是各国针对后面的0x80_{0xFF(十进制为128}255)这128个编码分别对应什么样的字符，就有了各自不同的设计。

为了结束欧洲各国这种各自为政的混乱局面，于是又先后设计了两套统一的，既兼容ASCII码，又支持欧洲各国所使用的那些衍生字符的单字节编码方案：一个是EASCII(Extended ASCII)字符编码方案，另一个是ISO/IEC 8859字符编码方案。

先来说EASCII码。EASCII码同样也是将ASCII中闲置的最高位(即首位)用来编码新的字符(这些ASCII字符之外的新字符，其最高位总是为1)。换言之，也就是将一个字节中的全部8个比特位用来表示一个字符。比如，法语中的é的编码为130(二进制1000 0010)。

显然，EASCII码虽与ASCII码一样使用单字节编码，但却可以表示最多256个字符(2^8 = 256)，比ASCII的128个字符(2^7=128)多了一倍。

因此，在EASCII码中，当第一个比特位(即字节的最高位)为0时，仍表示之前那些常用的ASCII字符(实际的二进制编码为0000 0000 ~ 0111 1111，对应的十进制就是0~127)，而为1时就表示补充扩展的其他衍生字符(实际的二进制编码为1000 0000 ~ 1111 1111，对应的十进制就是128~255)。

这样就在ASCII码的基础上，既保证了对ASCII码的兼容性，又补充扩展了新的字符，于是就称之为Extended ASCII(扩展ASCII)码，简称EASCII码。

EASCII码比ASCII码扩充出来的符号包括表格符号、计算符号、希腊字母和特殊的拉丁符号，如下表所示。

image.png

不过，EASCII码目前已经很少使用，常用的是ISO/IEC 8859字符编码方案。该方案与EASCII码类似，也同样是在ASCII码的基础上，利用了ASCII的7位编码所没有用到的最高位(首位)，将编码范围从原先ASCII码的0x00_{0x7F(十进制为0}127)，扩展到了0x80_{0xFF(十进制为128}255)。

ISO/IEC 8859字符编码方案所扩展的这128个编码中，实际上只有0xA0_{0xFF(十进制为160}255)被实际使用。也就是说，只有0xA0_{0xFF(十进制为160}255)这96个编码定义了字符，而0x80~0x9F
(十进制为128~159)这32个编码并未定义字符。

显然，ISO/IEC 8859字符编码方案同样是单字节编码方案，也同样完全兼容ASCII。

注意，与ASCII、EASCII属于单个独立的字符集不同，ISO/IEC 8859是一组字符集的总称，其下共包含了15个字符集，即ISO/IEC 8859-n，其中n=1,2,3,...,15,16(其中12未定义，所以共15个)。

这15个字符集大致上包括了欧洲各国所使用到的字符(甚至还包括一些外来语字符)，而且每一个字符集的补充扩展部分(即除了兼容ASCII字符之外的部分)都只实际使用了0xA0_{0xFF(十进制为160}255)这96个编码。

其中，ISO/IEC 8859-1收录了西欧常用字符(包括德法两国的字母)，目前使用得最为普遍。ISO/IEC 8859-1往往简称为ISO 8859-1，而且还有一个称之为Latin-1(也写作Latin1)的别名

image.png

（四）简体汉字编码方案(GB2312、GBK等)以及全角、半角、CJK

一、概述

英文字母再加一些其他标点字符之类的也不会超过256个，用一个字节来表示一个字符就足够了(2^8 = 256)。但其他一些文字不止这么多字符，比如中文中的汉字就多达10多万个，一个字节只能表示256个字符，肯定是不够的，因此只能使用多个字节来表示一个字符。

于是当计算机被引入到中国后，相关部门设计了GB系列编码(“GB”为“国标”的汉语拼音首字母缩写，即“国家标准”之意)。

按照GB系列编码，在一段文本中，如果一个字节是0～127，那么这个字节的含义同ASCII编码，否则，这个字节和下一个字节共同组成汉字(或是GB编码定义的其他字符)。

因此，GB系列编码向下兼容ASCII，也就是说，如果一段用GB编码文本里的所有字符都在ASCII中有定义(即该文本全部由ASCII字符组成)，那么这段编码和ASCII编码完全一样。

GB编码早期收录的汉字不足一万个，基本能满足日常使用需求，但不包含一些生僻字，因此后来又进行了扩展。

最早的GB编码是GB2312，后来有了在GB2312基础上扩展的GBK，最新的是GB18030，加入了一些国内少数民族的文字，一些生僻字被编到了4个字节，每扩展一次都完全保留之前版本的编码，所以每个新版本都向下兼容。

这里要指出的是，虽然都用多个字节表示一个字符，但是GB类的汉字编码与后文的Unicode编码方案UTF-8、UTF-16、UTF-32是毫无关系的(其中UTF-8对于ASCII字符仍用一个字节编码，而非ASCII字符则为多字节编码)。

不过，也正因为不得不使用多个字节来表示一个字符，相较于只使用单个字节的ASCII编码方案，GB类编码方案与后面要介绍的Unicode编码方案一样，无疑导致了更高的复杂度。

比如，当多字节字符与原先的ASCII字符混用时：

1）要么将原先的ASCII字符重新编码为多个字节表示，以便与其他多字节字符统一起来(UTF-16、UTF-32等采用的是这种方法)；

2）要么保持ASCII字符为单个字节编码不变，但将其他多字节字符编码中的各个字节的最高位(首位)设为1，以避免与字节最高位为0的ASCII编码相冲突(GB、UTF-8等采用的是这种方法)。

前者具有更高的空间复杂度，因为原先只需要单个字节表示的ASCII字符，现在也必须用多个字节来表示，显然更为耗费存储空间；后者则具有更高的时间复杂度，因为为了避免冲突以及其他种种考虑(比如扩展性、容错性等)，使用了更为复杂的编码算法(encoding algorithm)，无疑更为耗费计算时间。

而且，无论是前者还是后者，若多字节编码中采用的又是多字节码元(Code Unit)的话(如UTF-16、UTF-32编码采用的就是多字节码元，而UTF-8中的非ASCII字符虽然也是多字节编码，但采用的却是单字节码元)，由于历史的原因，又进一步引发了更为麻烦的字节序(Byte-Order)问题。(编码算法、码元、字节序的相关介绍，详见后文解释)

二、GB2312

GB2312编码方案，即《信息交换用汉字编码字符集——基本集》，是由中国国家标准总局于1980年发布、1981年5月1日开始实施的一套国家标准，标准号为GB2312-1980。

GB2312编码适用于汉字处理、汉字通信等系统之间的信息交换，通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。

GB2312编码为了避免与ASCII字符编码(0~127)相冲突，规定表示一个汉字的编码(即汉字内码)的字节其值必须大于127(即字节的最高位为1)，并且必须是两个大于127的字节连在一起来共同表示一个汉字(GB2312为双字节编码)，前一字节称为高字节，后一字节称为低字节；而一个字节的值若小于等于127(即字节的最高位为0)，自然是仍表示一个原来的ASCII字符(ASCII为单字节编码)。

因此，可以认为GB2312是对ASCII的中文扩展(即GB2312与ASCII相兼容)，正如EASCII是对ASCII的欧洲文字扩展一样。

不过，很显然的是，GB2312与EASCII码的128~255这段扩展部分所表示的字符是不同的。也就是说，GB2312与EASCII虽然都兼容ASCII，但GB2312并不兼容EASCII的扩展部分。

事实上，目前世界上除ASCII之外的其它通行的字符编码方案，基本上都兼容ASCII，但相互之间却并不兼容。

GB 2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，除了汉字，GB2312还收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个字符。

可能是出于显示上视觉美观的考虑，除汉字之外的682个字符中，甚至包括了ASCII里本来就有的数字、标点、字母等字符。也就是说，这些ASCII里原来就有的单字节编码的字符，又再编了两个字节长的GB2312编码版本。这682个字符就是常说的“全角”字符，而这682个字符中所对应的ASCII字符就被称之为“半角”字符。

附：全角、半角

全角字符是中文显示及双字节中文编码的历史遗留问题。

早期的点阵显示器上由于像素有限，原先ASCII西文字符的显示宽度(比如8像素的宽度)用来显示汉字有些捉襟见肘(实际上早期的针式打印机在打印输出时也存在这个问题)，因此就采用了两倍于ASCII字符的显示宽度(比如16像素的宽度)来显示汉字。

这样一来，ASCII西文字符在显示时其宽度为汉字的一半。或许是为了在西文字符与汉字混合排版时，让西文字符能与汉字对齐等视觉美观上的考虑，于是就设计了让西文字母、数字和标点等特殊字符在外观视觉上也占用一个汉字的视觉空间(主要是宽度)，并且在内部存储上也同汉字一样使用2个字节进行存储的方案。这些与汉字在显示宽度上一样的字符就被称之为全角字符。

而原来ASCII中的西文字符由于在外观视觉上仅占用半个汉字的视觉空间(主要是宽度)，并且在内部存储上使用1个字节进行存储，相对于全角字符，因而被称之为半角字符。

后来，其中的一些全角字符因为比较有用，就得到了广泛应用(比如全角的逗号“，”、问号“？”、感叹号“！”、空格“　”等，这些字符在输入法中文输入状态下的半角与全角是一样的，英文输入状态下全角跟中文输入状态一样，但半角大约为全角的二分之一宽)，专用于中日韩文本，成为了标准的中日韩标点字符。而其它的许多全角字符则逐渐失去了价值(现在很少需要让纯文本的中文和西文字字对齐了)，就很少再用了。

现在全球字符编码的事实标准是Unicode字符集及基于此的UTF-8、UTF-16等编码实现方式。Unicode吸纳了许多遗留(legacy)编码，并且为了兼容性而保留了所有字符。因此中文编码方案中的这些全角字符也保留下来了，而国家标准也仍要求字体和软件都支持这些全角字符。

不过，半角和全角字符的关系在UTF-8、UTF-16等中不再是简单的1字节和2字节的关系了。具体参见后文。

image.png

三、GB13000

为了便于多个文种的同时处理，国际标准化组织下属编码字符集工作组制定了新的编码字符集标准——ISO/IEC 10646(与统一联盟制定的Unicode标准兼容，两者的关系详见后文)。

该标准第一次颁布是在1993年，当时只颁布了其第一部分，即ISO/IEC 10646.1:1993，收录中国大陆、台湾、日本及韩国通用字符集的汉字，总共20,902个。制定这个标准的目的是对世界上的所有字符统一编码，以实现世界上所有字符在计算机上的统一处理。

中国相应的国家标准是GB13000.1-1993《信息技术通用多八位编码字符集(UCS)第一部分：体系结构与基本多文种平面》。

2010年又发布了替代标准——GB13000-2010《信息技术通用多八位编码字符集(UCS)》，此标准等同于国际标准ISO/IEC 10646:2003《信息技术通用多八位编码字符集(UCS)》。

GB13000与国际标准ISO/IEC10646及Unicode标准目前在基本平面(即BMP，详见后文)上保持一致。

四、GBK

GB2312-1980共收录6763个汉字，覆盖了中国大陆99.75%的使用频率，基本满足了汉字的计算机处理需要。但对于人名、古汉语等方面出现的罕用字、生僻字，GB2312不能处理，如部分在GB2312-1980推出以后才简化的汉字(如“啰”)、部分人名用字(如前总理朱镕基的“镕”字)、台湾及香港使用的繁体字、日语及朝鲜语汉字等，并未收录在内。

于是利用GB2312-1980未使用的码点空间，收录GB13000.1-1993的全部字符，于1995年又发布了《汉字内码扩展规范(GBK)》(Guo-Biao Kuozhan国家标准扩展码，是根据GB13000.1-1993，对GB2312-1980的扩展；英文全称Chinese Internal Code Specification)。

不过，虽然GBK收录了GB13000.1-1993的全部字符，但编码方式并不相同。

GBK跟GB2312一样是双字节编码，然而，GBK只要求第一个字节即高字节是大于127就固定表示这是一个汉字的开始(0~127当然表示的还是ASCII字符)，不再要求第二个字节即低字节也必须是127号之后的编码。这样，作为同样是双字节编码的GBK才可以收录比GB2312更多字符。

GBK字符集向后完全兼容GB2312，同时还支持GB2312-1980不支持的部分中文简体、中文繁体、日文假名(不过这个编码不支持韩国文字，也是其在实际使用中与Unicode编码相比欠缺的部分)，共收录汉字21003个、符号883个，并提供1894个造字码位，简、繁体字融于一体。

image.png

微软早在Windows 95简体中文版中就采用了GBK编码，也就是对微软内部之前的CP936字码表(Code Page 936)进行了扩展(之前CP936和GB2312-1980一模一样)。

微软的CP936通常被视为等同于GBK，连IANA(Internet Assigned Numbers Authority互联网号码分配局)也以“CP936”为“GBK”之别名。

但事实上比较起来，GBK定义之字符较CP936多出95个(15个非汉字及80个汉字)，皆为当时未收入ISO 10646 / Unicode的符号。

【注：有说是微软在GB2312的基础上扩展制订了GBK，然后GBK才成为“国家标准”(也有说GBK不是国家标准，只是“技术规范指导性文件”)；但网上也有资料说是先有GBK(由全国信息技术标准化技术委员会于1995年12月1日制定)，然后微软才在其内部所用的CP936代码页中以GBK为参考进行了扩展。】

五、GB18030

中国国家质量技术监督局于2000年3月17日推出了GB18030-2000标准，以取代GBK。GB18030-2000除保留全部GBK编码汉字之外，在第二字节再度进行扩展，增加了大约一百个汉字及四位元组编码空间。

GB18030《信息交换用汉字编码字符集基本集的补充》是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，是我国计算机系统必须遵循的基础性标准之一。

2005年，GB18030编码方案又进行了扩充，于是又有了GB18030-2005《信息技术中文编码字符集》。如前所述，GB18030-2000是GBK的取代版本，它的主要特点是在GBK基础上增加了CJK中日韩统一表意文字扩充A的汉字；而GB18030-2005的主要特点是在GB18030-2000基础上又增加了CJK中日韩统一表意文字扩充B的汉字。

微软也为GB18030定义了代码页(Codepage)：CP54936，但是这个代码页实际上并没有真正使用(在Windows 7的“控制面板”-“区域和语言”-“管理”-“非Unicode程序的语言”中没有提供选项；在Windows cmd命令行中可通过命令chcp 54936更改，之后在cmd可显示中文，但却不支持中文输入)。

image.png

六、CJK中日韩统一表意文字

CJK指的是中日韩统一表意文字(CJK Unified Ideographs)，也称统一汉字(Unihan)，目的是要把分别来自中文(包含壮文)、日文、韩文、越文中，起源相同、本义相同、形状一样或稍异的表意文字在Unicode标准及ISO/IEC 10646标准内赋予相同的码点值。(Unicode标准及ISO/IEC 10646标准后文有详细解释)

CJK是中文(Chinese)、日文(Japanese)、韩文(Korean)三国文字英文首字母的缩写。顾名思义，它能够支持这三种文字，但实际上，CJK能够支持包括中文(包含壮文)、日文、韩文、越文在内的多种亚洲双字节文字。

所谓“起源相同、本义相同、形状一样或稍异的表意文字”，主要为汉字，包括繁体字、简体字；但也有仿汉字，包括方块壮字、日本汉字(漢字／かんじ)、韩国汉字(漢字／한자)、越南的喃字(?喃／Chữ Nôm)与儒字(?儒／Chữ Nho)等。

此计划原本只包含中文、日文及韩文中所使用的汉字和仿汉字，统称中日韩(CJK)统一表意文字(Unified Ideographs)。后来，此计划才加入了越南文的喃字，所以又合称为中日韩越(CJKV)统一表意文字。

七、小结

GB类的字符集均属于双字节字符集DBCS(Double Byte Character Set)。

在DBCS系列编码方案里，最大的特点是两字节长的中文字符和一字节长的英文字符(ASCII字符)相兼容，可以并存于同一个文件内。

因此，写程序时为了支持中文处理，必须要注意字符串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。

使用GB类编码方案时一般都要时刻记住：一个汉字由两个字节组成(即一个汉字占用的空间相当于两个英文字符占用的空间)。