漫谈字符集和编码

漫谈字符集和编码

作为程序员，如果没有被字符集和编码坑过那说明你的人生太不完美了，哈哈。

1. 字符集和编码的关系

在最开始遇到字符集和编码的问题时，那时候Unicode和utf-8还未完全推广开来，遇到的很多是gbk和其它编码之间转换的问题。像gbk之类的基本就是一个字符集对应一种编码，所以那时候就简单的理解“字符集和编码是同一个概念”，直到后来遇到Unicode和utf-8、utf-16，才发现这两个是不同的概念。
关于字符集和编码的关系网上已经有了很多优秀的文章，我就不再赘述了，我只是在这里简单的记录一下自己总结的东西：

字符集：字符的集合，收录了一定数量的字符。每个字符有对应的ID值，叫码点（code point）。
编码：字符串实际存储的时候，不一定是直接存储字符串的码点（比如，为了节约空间），要进行转换。这个转换规则就是编码。

上文提到的Unicode就是一个字符集，这个集合囊括了世界上所有可能的字符（有待考证，不过这么理解也无妨）。那么这个集合这么大，集合中的字母“a”和中文“中”怎么来存储呢？如果Unicode集中的所有字符都用一个字节来存储肯定是不现实的，因为这样就最多存储256个字符，如果用两个字节来存储那么对于那些只需要一个字节来存储的字符，如“a”又是一个浪费。所以对于Unicode字符集中的字符如何来存储产生了多种的方式，有utf-8、utf-16、utf-32等多种编码方式（也就是存储方式）。

2. BOM（Byte Order Mark）

在我们打开一个文件的时候，我们怎么知道这个文件是什么编码，我们是否可以在文件的最开始部分加一个magic来表示这个文件使用的编码呢？Unicode规范中定义，在每个文件最前面加入一个表示编码顺序的字符BOM（Byte Order Mark）。

BOM_UTF8 ‘\xEF\xBB\xBF’
BOM_UTF16_LE ‘\xFF\xFE’
BOM_UTF16_BE ‘\xFE\xFF’

上面是定义的utf-8和utf-16的字符BOM，也就是说我们在打开一个文件的时候可以读取文件的最前面的几个字节，然后就能判断出来这个文件使用的编码是什么。这样我们就无需使用一种默认的编码来打开一个文件，可以根据每一个文件的BOM使用不同的编码来打开。
BOM这种方式看起来很实用，windows对于BOM的文件支持比较好，UNIX/Linux就不太鸟这个，我们在下面的章节能看到这两者的区别。

3. Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别

我们在记事本中保存一个文件的时候可选的编码方式有ANSI、Unicode、Unicode big endian、UTF-8，那么这四种编码分别有什么不同呢？
ANSI：这其实不是一种编码，它在不同语言的系统中编码不同，比如说我们的简体中文windows环境中可能就是GBK。
在我自己试验中发现用ANSI编码保存的文件在Linux中用file命令显示文件的格式为：ANSI.txt: ISO-8859 text, with no line terminators，用vi打开文件，fileencoding看到的文件编码为cp936。
Unicode：带有BOM的小端序UTF-16。
我用记事本新建一个文件，写入字符“中”，并保存为Unicode编码格式，然后用notepad++打开，查看文件内容的二进制格式为：ff fe 2d 4e。从二进制中看到记事本在文件的最前面加入了BOM_UTF16_LE（ff fe）。

Unicode big endian：带有BOM的大端序UTF-16。
下图是Unicode big endian编码格式中字符“中”的二进制格式：

UTF-8：带 BOM 的 UTF-8。
下图是UTF-8编码格式中字符“中”的二进制格式：

从上面来看，Windows的记事本很喜欢BOM，但是我们提到过UNIX/Linux中的某些软件不太鸟BOM，也就是说在Windows用记事本写的一个脚本在Linux上可能会运行不了。

#!/bin/sh
echo "hello."

上面是在Windows中记事本写的一个shell脚本，我们保存为UTF-8编码格式，然后把脚本放到一台Linux机器上面执行，结果如下：

root@web:~/lxg/station# ./codeset.sh
No such file or directoryn/sh
codeset!

上面的输出结果来看这个简单的脚本报错了，这是为什么呢？原因其实就是我们上面提到的Windows的记事本在报错为UTF-8格式的时候加入了BOM_UTF8的两个字节，但是shell解释器不能识别BOM_UTF8，所以最后就导致了报错。

4. 引用

阮一峰 blog中的《字符编码笔记：ASCII，Unicode和UTF-8》
知乎：Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别？
知乎：「带 BOM 的 UTF-8」和「无 BOM 的 UTF-8」有什么区别？网页代码一般使用哪个？
The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)