（五）简体汉字编码中区位码、国标码、内码、外码、字形码的区别及关系
GB2312、GBK、GB18030等GB类汉字编码方案的具体实现方式是怎样的？区位码是什么？国标码是什么？内码、外码、字形码又是什么意思？它们是如何转换的，又为什么要这样转换？
下面以GB2312为例来加以说明(由于GBK、GB18030是以GB2312为基础扩展而来，因此编码实现方式与GB2312一样)。
一、区位码
整个GB2312字符集分成94个区，每区有94个位，每个区位上只有一个字符，即每区含有94个汉字或符号，用所在的区和位来对字符进行编码(实际上就是字符编号、码点编号)，因此称为区位码(或许叫“区位号”更为恰当)。
换言之，GB2312将包括汉字在内的所有字符编入一个94 * 94的二维表，行就是“区”、列就是“位”，每个字符由区、位唯一定位，其对应的区、位编号合并就是区位码。比如“万”字在45区82位，所以“万”字的区位码是：45 82（注意，GB类汉字编码为双字节编码，因此，45相当于高位字节，82相当于低位字节）。
GB2312字符集各区中：
1）01~09区(682个)：特殊符号、数字、英文字符、制表符等，包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母等在内的682个全角字符；
2）10~15区：空区，留待扩展；
3）16~55区(3755个)：常用汉字(也称一级汉字)，按拼音排序；
4）56~87区(3008个)：非常用汉字(也称二级汉字)，按部首/笔画排序；
5）88~94区：空区，留待扩展。
二、国标码(交换码)
为了避开ASCII字符中的不可显示字符0000 0000 ~ 0001 1111(十六进制为0 ~ 1F，十进制为0 ~ 31)及空格字符0010 0000(十六进制为20，十进制为32)（至于为什么要避开、又为什么只避开ASCII中0~32的不可显示字符和空格字符，后文有解释），国标码(又称为交换码)规定表示汉字的范围为(0010 0001，0010 0001) ~
(0111 1110，0111 1110)，十六进制为(21，21) ~ (7E，7E)，十进制为(33，33) ~ (126，126)（注意，GB类汉字编码为双字节编码）。
因此，必须将“区码”和“位码”分别加上32(十六进制为20H，后缀H表示十六进制)，作为国标码。也就是说，国标码相当于将区位码向后偏移了32，以避免与ASCII字符中0~32的不可显示字符和空格字符相冲突。
注意，国标码中是分别将区位码中的“区”和“位”各自加上32(20H)的，因为GB2312是DBCS双字节字符集，国标码属于双字节码，“区”和“位”各作为一个单独的字节。
这样我们可以算出“万”字的国标码十进制为：(45+32，82+32) = (77，114)，十六进制为：(4D，72H)，二进制为：(0100 1101，0111 0010)。
三、内码(机内码)
不过国标码还不能直接在计算机上使用，因为这样还是会和早已通用的ASCII码冲突(导致乱码)。
比如，“万”字国标码中的高位字节77与ASCII的“M”冲突，低位字节114与ASCII的“r”冲突。因此，为避免与ASCII码冲突，规定国标码中的每个字节的最高位都从0换成1，即相当于每个字节都再加上128(十六进制为80，即80H；二进制为1000 0000)，从而得到国标码的“机内码”表示，简称“内码”。
由于ASCII码只用了一个字节中的低7位，所以，这个首位(最高位)上的“1”就可以作为识别汉字编码的标志，计算机在处理到首位是“1”的编码时就把它理解为汉字，在处理到首位是“0”的编码时就把它理解为ASCII字符。
比如：
77 + 128 = 205(二进制为1100 1101，十六进制为CD)
114+ 128 = 242(二进制为1111 0010，十六进制为F2)
我们可以来检验一下。打开记事本输入“万”字，编码选择为ANSI(Windows记事本中的ANSI编码对于简体汉字而言就是GB类编码，详见后文解释)，保存，如下图所示。
4
总结一下：
从区位码(国家标准定义) ---> 区码和位码分别+32(即+20H)得到国标码 ---> 再分别+128(即+80H)得到机内码(与ACSII码不再冲突)。
因此，区位码的区和位分别+160(即+A0H，32+128=160)可直接得到内码。用十六进制表示就是：
区位码(区码,位码) + (20H,20H) + (80H,80H) =区位码(区码,位码) + (A0H,A0H)
= 内码(高字节,低字节)。
四、为什么要加上20H和80H？
区位码、国标码、内码的转换非常简单，但令人迷惑的是为什么要这么转换？
首先，需要注意到一点，GB2312虽说是对中文编码，但是里面也有对26个英文字母和一些特殊符号的编码，按理说这些和ASCII重合的字符(33~127)应该无需再重新编码，直接沿用ASCII中的不就行了？
原来，当时在制定GB2312时，决定对ASCII中的可打印字符，也就是英文字母、数字和符号部分(33~126，127为不可打印的DEL)重新编入GB2312中，以两个字节表示，称之为全角字符(全角字符在屏幕上的显示宽度为ASCII字符的两倍，后来也因此而将对应的ASCII字符称之为半角字符)。
而对于ASCII中前32个不可显示也不可打印的控制字符(ASCII码为0~31)，以及第33个可显示但不可打印的空格字符(ASCII码为32)等共33个不可打印字符的编码则直接沿用，不再重新编码。
因为要保留这33个不可打印字符，就不能直接采用区位码作为计算机直接处理的机内码，需要将区位码向后偏移32以避开冲突(为什么是偏移32，而不是偏移33？因为区位码中的区码和位码都是从1开始计数的，不像ASCII码是从0开始计数的)。
十进制数字32的十六进制表示就是20(为区别于十进制，记作20H)，这也就是区位码要加上20H(区码和位码各自加上20H)才能得到国标码的原因。
很显然，如果直接采用国标码作为计算机直接处理的机内码的话，还将会产生另一个弊端，即用ASCII码编码的英文字符在GB2312编码环境中无法打开，一打开就会乱码。
因为国标码虽然相较于区位码避开了ASCII码中032的前33个不可打印字符，但并没有避开ASCII码中的英文字母、数字和符号(33126，共94个字符，127为不可打印的DEL)等可打印字符。也就是说，国标码并不是完全兼容ASCII码的。
为了解决这个弊端，考虑到ASCII码只使用了一个字节中的低7位，最高位(即首位)为0，于是决定将国标码每个字节的最高位设为1(国标码的两个字节中的最高位都恒为0，即国标码中的每个字节实际上也只用了一个字节中的低7位)，这就是GB2312的机内码(即内码)，简称GB2312码。
这样一来就彻底区分开了ASCII码和GB2312码。这也是为什么国标码还要加上(80H，80H)才能得到机内码的原因。
看到这里，有人或许又要问了：如果仅仅是为了避免与ASCII编码相冲突，为什么最初不直接将区位码的区码和位码的最高位从0改为1(相当于各自直接加上128)，这样不就无需经过国标码多此一举的中间转换了吗？而且还无需后移32，也就不用浪费这部分编码空间。
网上有种说法：主要是为了容错。文字信息在储存、传输时，难免发生某一个bit被倒转（0变为1或1变为0）的错误。如果内码的某个字节内后7位中的一位发生这样的错误，将使得表示的中文字符发生移位；而如果是首个位发生错误，按照现在的编码方式，错误的字节将变成可显示的其他字符。如果设计内码时没有增加那个20H，后一种错误将导致错误字节变为控制字符，可能在一部分使用控制字符进行操作的设备上引起较大的错误。例如某些电传打字机、电报机等，一个字变成另一个字或者变成字母，没有什么危害，但变成了控制字符比如退格、制表符等，将会导致格式、信息混乱，甚至引起设备故障。
五、外码(输入码、输入法编码)
外码也叫输入码、输入法编码，是用来将汉字输入到计算机中的一组键盘符号，是作为汉字输入用的编码。
英文字母只有26个，可以把所有的字符都放到键盘上，而使用这种办法把所有的汉字都放到键盘上，是不可能的。所以汉字系统需要有自己的输入码体系，使汉字与键盘能建立对应关系。
目前常用的外码分为以下几类：
1）数字编码，比如区位码；
2）拼音编码，比如全拼、双拼、自然码等；
3）字形编码，比如五笔、表形码、郑码等。
六、字形码(字型码、字模码、输出码)
字形码，又称为字型码、字模码、输出码，属于点阵代码的一种。
为了将汉字在显示器或打印机上输出，把汉字按图形符号设计成点阵图，就得到了相应的点阵代码(字形码)。
也就是用0、1表示汉字的字形，将汉字放入n行*n列的正方形(点阵)内，该正方形共有n^2个小方格，每个小方格用一位二进制表示，凡是笔划经过的方格值为1，未经过的值为0。
显示一个汉字一般采用16×16点阵或24×24点阵或48×48点阵。已知汉字点阵的大小，可以计算出存储一个汉字所需占用的字节空间。
比如，用16×16点阵表示一个汉字，就是将每个汉字用16行，每行16个点表示，一个点需要1位二进制代码，16个点需用16位二进制代码(即2个字节)，共16行，所以需要16行×2字节/行=32字节，即16×16点阵表示一个汉字，字形码需用32字节。
因此，字节数=点阵行数×(点阵列数/8)。
显然，字形码所表示的字符，相对于抽象字符表ACR里的“抽象”字符，可称之为“具体”字符，因为具有了“具体”的外形。
为了将汉字的字形显示输出或打印输出，汉字信息处理系统还需要配有汉字字形库，也称字模库，简称字库，它集中了汉字的字形信息。
字库按输出方式可分为显示字库和打印字库。用于显示输出的字库叫显示字库，工作时需调入内存。用于打印输出的字库叫打印字库，工作时无需调入内存。
字库按存储方式也可分为软字库和硬字库。软字库以文件的形式存放在硬盘上，现多用这种方式。硬字库则将字库固化在一个单独的存储芯片中，再和其它必要的器件组成接口卡，插接在计算机上，通常称为汉卡。这种方式现已淘汰。
七、小结
可以这样理解，为在计算机内表示汉字而采取统一的编码方式所形成的汉字编码叫内码。为方便汉字输入而形成的汉字编码为外码，也叫输入码。为显示输出和打印输出汉字而形成的汉字编码为字形码，也称为字模码、输出码。
计算机通过键盘输入的外码(重码时还需附加选择编号)对应于汉字内码，将汉字外码转换(即映射)为汉字内码，以实现输入汉字的目的；通过汉字内码在字模库(即字库)中找出汉字的字形码，将汉字内码转换(即映射)为汉字字形码，以实现显示输出和打印输出汉字的目的。
事实上，英文字符的输入、处理和显示过程大致上也差不多，只不过英文字符不需要输入码(即外码)，直接在键盘上输入对应的英文字母即可。
（六）ANSI编码与代码页
一、ANSI编码
如前所述，在全世界所有国家和民族的文字符号统一编码的Unicode编码方案问世之前，各个国家、民族为了用计算机记录并显示自己的字符，都在ASCII编码方案的基础上，设计了各自的编码方案。
比如欧洲先后设计了EASCII和ISO/IEC 8859系列字符编码方案；为了显示中文及相关字符，中国设计了GB系列编码(“GB”为“国标”的汉语拼音首字母缩写，即“国家标准”之意)。
同样，日文、韩文、世界各国文字都有它们各自的编码。所有这些各个国家和地区所独立制定的既兼容ASCII又互相不兼容的字符编码，微软统称为ANSI编码。
所以，即使知道是ANSI编码，还需要知道这是哪一个国家的才能解码；另外，也无法用同一种ANSI编码表示既有汉字、又有韩文的文本。
严格来说，ANSI的字面意思并非字符编码，而是美国的一个非营利组织——美国国家标准学会(American National Standards Institute)的缩写。ANSI这个组织做了很多标准制定工作，包括C语言规范ANSI C，还有各国字符编码对应的“代码页(code page)”标准。（具体什么是代码页，详见后文解释）
ANSI规定简体中文GB编码的代码页是936，所以GB编码又叫做ANSI code page 936(ANSI标准的代码页936)，各国编码之所以被微软统称为ANSI编码的原因即在这里。
后来，或许是出于沿用统一的称呼之目的，有些在当时还并未被ANSI定为标准的代码页，也被微软称之为ANSI代码页，比如CP943代码页。
在Windows系统的编码处理中，ANSI编码一般代表系统默认编码方式，而且并不是确定的某一种编码方式——在简体中文操作系统中ANSI编码默认指的是GB系列编码(GB2312、GBK、GB18030)；在繁体中文操作系统中ANSI编码默认指的是BIG5；在日文操作系统中ANSI编码默认指的是Shift JIS，等等。可在系统区域设置的系统Locale中更改。
二、代码页(Code Page)
1.
代码页也称为“内码表”，是与特定语言的字符集相对应的一张表。操作系统中不同的语言和区域设置可能使用不同的代码页。
例如，微软所用的ANSI代码页1252(CP1252)对应于ISO 8859-1字符集(即Latin-1字符集，但CP1252对Latin-1有扩展，其中编码128~159也被定义了字符，这是与Latin-1字符集不同之处)，用于英语和大多数欧洲语言(西班牙语和各种日耳曼/斯堪的纳维亚语)，而IBM所用的OEM代码页932(CP932)对应于Shift JIS字符集(但CP932对Shift JIS有扩展；另外，对应的微软ANSI代码页为CP943，也对Shift JIS有扩展)，用于日本字符。
代码页一般与其所直接对应的字符集之间并非完全等同，往往因为种种原因(比如标准跟不上现实实践的需要)而会对字符集有所扩展。
早期，代码页是IBM称呼计算机的BIOS所支持的字符集编码。当时通用的操作系统都是命令行界面的，这些操作系统直接使用BIOS提供的字符绘制功能来显示字符(或者是一组嵌入在显卡字符生成器中的字形)。这些BIOS代码页也被称为OEM代码页。
随着图形用户界面操作系统的广泛使用(最初被广为接受的图形用户界面操作系统是Windows3.1)，操作系统本身具有了字符绘制的功能。微软于是在Windows操作系统没有转向UTF-16(UTF-16的推出要早于现在被广为认可的UTF-8)作为编码实现之前(即Windows2000发布之前)，定义了一系列支持不同国家和地区所制定的字符集的代码页，被称作“Windows代码页”或“ANSI代码页”。代表性的是实现了ISO-8859-1(即Latin-1)的代码页1252(即CP1252)，以及实现了GBK的代码页936(即CP936)。
代码页可以在从字符映射到单字节值或多字节值的表格中表现。注意，这里的单字节值与多字节值指的是特定于系统平台的物理意义上的字节序列，不是指与系统平台无关的逻辑意义上的码元序列。正因为这样，代码页也被称之内码表。
也就是说，代码页是字符集的具体实现，可以将其理解为一张“字符-字节”映射表，通过查表实现“字符-字节”的翻译。
代码页主要用于字符在计算机中的存储和显示，比如，计算机读取了一个二进制字节，那这个字节到底代表哪个字符，就需要到指定的代码页中查找，这个查找的过程就被称为查表。
代码页的指定在Windows中是系统默认设置的(即默认系统区域设置)，也可在(Windows7的)“控制面板-区域和语言-管理-非Unicode程序的语言-更改系统区域设置”中选择列表中的语言进行更改。
注意：系统区域设置System Locale可用于确定在不使用Unicode编码的程序中输入和显示信息的默认字符集和字体，这样就可以让非Unicode程序在计算机上使用指定的语言得以正常运行。因此，在计算机上安装某些非Unicode程序时，可能需要更改默认的系统区域设置。为系统区域设置选择不同的语言并不会影响Windows系统本身或其他使用Unicode编码的程序的菜单和对话框中的语言显示。
早期在IBM和微软内部使用数字来标记不同的字符集，不同的厂商对同一个字符集使用各自不同的名称。
例如，UTF-8在IBM称作代码页1208，在微软称作代码页65001，在SAP称作代码页4110；Windows使用936代码页(Code Page 936，即CP936)、Mac系统使用EUC-CN代码页实现GBK字符集的编码(EUC：Extended Unix Code；EUC-CN是类Unix系统中GBK编码方案的别名，等同于Windows下的cp936代码页)，名字虽然不一样，但对于同一汉字的编码肯定是一样的。
三、微软Windows操作系统中ANSI代码页的设置
微软为了适应世界上不同地区用户的文化背景和生活习惯，在Windows中设计了区域(Locale)设置的功能。
Locale是指特定于某个国家或地区的一组设定，包括代码页，以及数字、货币、时间和日期的格式等。
在Windows内部，其实有两个Locale设置：系统Locale和用户Locale。系统Locale决定代码页，用户Locale决定数字、货币、时间和日期的格式。
可以在Windows控制面板的“区域和语言选项”中设置系统Locale(非Unicode程序的语言)和用户Locale(标准和格式)：
win10 的设置如上
系统Locale对应的代码页被作为Windows的默认代码页。在没有明确指定某个文本的编码信息时，Windows将按照指定的默认代码页的编码方案来解释该文本数据。这个默认代码页通常被称作ANSI代码页(ACP)。
在历史上，IBM的个人计算机和微软公司的操作系统曾经是PC的标准配置。微软公司将IBM公司定义的代码页称作OEM代码页，在IBM公司的代码页基础上作了些增补后，称为ANSI代码页。例如：
1250 中欧语言
950 big5 繁体中文
949 朝鲜语
936 gbk 简体中文
932 日语
874 泰国语
437 MS-DOS 美国英语
在win10上可以通过如下命令查看
