字符编码及其在python中的使用

什么是编码，为什么要统一编码，编码的历史

---

所有的文件包括文字最终在计算机上的体现是一串二进制值的位（bit）。实际中，会使用特定的字节（byte）来表示每一种语言的任意字符，这就是编码！

之前，每一套语言的编码都有独立的编码规则，但是当文件传输使用时，需要同步编码方式的信息，然后再去解码；如果一个文本中包括多种语言，则根本没办法解码。

所以，业界统一使用了unicode编码系统。该系统为表达任意语言的任意字符而设计，是一个可以表示超过65535个含义的编码系统。最直白的表达这个系统的传输规则的是UTF-32，即它以4字节收录每一个Unicode字符，然后以那个数字代表该字符。优点是可以在常数时间内定位字符串里的第N个字符。

由于UTF-32每一个字符均使用4个字节表示，会造成存储空间的浪费。又发展出了UTF-16，解决常用字符的编码。但是，UTF-16和UTF-32始终存在字节排序的问题，既不同的计算机系统会以不同的顺序保存字节(endian)。

最终发展出了UTF-8！UTF-8是一种为Unicode设计的变长(variable-length)传输规则。即，不同的字符可使用不同数量的字节编码，其优缺点如下

缺点：因为每个字符使用不同数量的字节编码，所以寻找串中第N个字符是一个O(N)复杂度的操作 — 即，串越长，则需要更多的时间来定位特定的字符。同时，还需要位变换来把字符编码成字节，把字节解码成字符。

优点：在处理经常会用到的ascii字符方面非常有效。在处理扩展的拉丁字符集方面也不比UTF-16差。对于中文字符来说，比UTF-32要好。同时由位操作的天性使然，使用UTF-8不再存在字节顺序的问题了。一份以utf-8编码的文档在不同的计算机之间是一样的比特流。

注意：系统/终端/IDE处理默认的编码方式各有不同
上述程序，都有不同的将字符写入存储空间的方式，也即编码方式不同。比如，Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。同时输出，也即解码的处理也会不同。

Python是怎么处理编码问题的，py2/py3的处理有何不同

---

Python2 使用 ASCII 码作为默认编码方式，导致 string 有两种类型 str 和 unicode；Python3 只支持 unicode 的 string。

Python2 使用 unicode 类型作为编码的基础类型；而 str 和 unicode 都是 basestring 的子类。
严格意义上说，str 其实是字节串，它是 unicode 经过编码后的字节组成的序列。例如：对 UTF-8 编码的 str '汉' 使用 len() 函数时，结果是3。因为实际上，UTF-8 编码的“汉” == '\xE6\xB1\x89'。
unicode 才是真正意义上的字符串，对字节串 str 使用正确的字符编码进行解码后获得，并且 len(u'汉') == 1。
由于 str 可以是不同的编码类型，给字符串操作带来了较大的复杂性。好消息是 Python3 来了。

Python3取消了 unicode 类型，代替它的是使用 unicode 字符的字符串类型 (str) ，字符串类型（str）成为基础类型；而编码后的变为了字节类型 (bytes)。

编解码示意：

Python2：
str ---(decode)---unicode---(encode)---str

Python3：
bytes ---(decode)--- str(unicode)---(encode)--bytes

---

参考：http://www.cnblogs.com/evening/archive/2012/04/19/2457440.html