字符，字符集，字符编码，编码页，字体

吾国码农应该都遇到过乱码的问题，然后网上搜索一番添加一些设置，乱码就消失了，也不继续追究本质。
本文试图讲清楚标题提到的概念，从此遇到乱码从容应对。

字符（character），就是【a】,【A】,【请】等书写符号。
字符集（character set），通常就是某种语言字符集合，比如英语就是ascll字符集，中文有GBK等

注意，不是每种语言只对应一种字符集（比如GB2312 ，GBK，GB18030都包含了常用汉字，后者是前者的超集），而且字符集也不是只对应一种语言，例如Unicode字符集就包含所有语言字符,字符集只是设计者为了给字符编码（Code Point/Numbering）设计编码时，为了收录到命名的字符集合，但是通常设计者都为字符集设计了对应的编码规范。

字符编码（character code point）,给字符集里的字符编号
编码页（code page），在unicode发明之前，各个地区都用2字节编码自己的字符集，相同的编码对应不同的字符，为了本地化，windows发明了编码页，来对应不同的字符集。
字符编码（character encoding），对给定的字符编码（code point）编码成字节表示（byte sequence）

早期，字符被编号后，存储时就按照编号的方式存储，没有encoding的过程，后来发明Unicode后，发现如果按照Unicode的编号直接存储的话，对于英文字符就有很大存储浪费，因为任意字符都需要2字节存储，后来人们发明UTF-8这种编码方式，这样UTF-8就可以一个字节表示英文字符，2个以上字节表示汉字字符。

字体（Font），定义了字符的图形表示，现在的软件展示字符时用Unicode表示，字体是Unicode编码和字符图形的映射，而以往比如WindowsCMD控制台，没有对应Unicode，则用编码页来区分，所以字体就是字符编码金和代码页到字符图形的映射。

相同字符的不同字体，显示图形不一样。字体通常与具体的字符集相关，因为字体是针对某一字符集设计的。如果用表示日语的字体显示中文，就会发现不一致，中日都有的汉字正常显示，日文没有的汉字，就有点怪（其实是编辑器尝试用其他字体显示的原因）。另外可以看出，字体与具体编码无关，不同编码的同一字符，用相同字体显示是一样的图形。只是字符集通常与字符编码用相同的名称表示，容易混淆，比如GB2312,即是字符集，又是字符编码。

好了，现在我们可以想象，文本文件存储在磁盘上，都是一系列的bytes，如果不告诉文本编辑器该文件的encoding，编辑器会尝试用默认的编码（依赖于操作系统设置）又或者自己探测（detect，比如文件开头有FFEF或者EFFF字节就表明UTF-16编码，有很多10，110开头的字节，很可能是UTF-8编码）并尝试decode，如果没有猜对，那就会显示乱码。

下面我们通过文本编写，保存/传输以及浏览器显示来了解一下乱码可能的原因以及解决办法。
我们用输入法在notepad输入文字，输入法首先产生Unicode编码在内存，当我们保存时编辑器首先尝试用系统默认的编码保存，当我们输入的字符不包含在本地编码对应的字符集时，就会收到类似提示：文本包含Unicode字符，如果继续保存则丢失信息，请选择unicode方案保存。此时一定要选择unicode方案保存，否则信息丢失就回天无力。
好了，接下来我们要传输文本到浏览器，一般我们只是简单的传输文件（2进制流传输）而不对文件进行转码，但是浏览器不知道文件的编码就有可能显示乱码，所以我们需要通过http头的Content-Type: text/plain; charset=”UTF-8″来告诉浏览器用正确的编码来解析。所以如果浏览器显示乱码，就有一下几种可能
1，没有content-type头，浏览器默认的编码与实际不同，尝试调整浏览器编码可以解决
2，有content-type头，但是与实际文件编码不同，重新制定content-type头，或者传送文件内容之前对文件按照content-type头制定的编码进行转码在传输。
3，content-type和文件内容都正确，还是乱码，浏览器端根本安装没有对应的字符集，安装相应的语言（同时会安装相应的字符集，编码，字体等）。

参考
https://www.w3.org/International/questions/qa-what-is-encoding
https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/
https://wenku.baidu.com/view/cb9fe505cc17552707220865.html
https://blogs.msdn.microsoft.com/shawnste/2005/03/15/whats-the-difference-between-an-encoding-code-page-character-set-and-unicode/
https://www.zhihu.com/question/21721472