【python基础】字符编码

摘自廖雪峰老师的博客

发展历史

在计算机中，想要处理文本（字符串），需要先转为数字。

美国人：将127个字符编码到1个字节中，ASCII码；

中国人：GB2312；

日本人：Shift_JIS；

大一统：为了解决多语言混合文本中的乱码问题，诞生Unicode，通常为2字节；

节约精神：英文居多的文本中，全用Unicode浪费空间，诞生了“可变长编码”UTF-8，把英文字母编为1个字节，把汉字编为3个字节，生僻汉字编为4-6字节；

计算机系统通用的“字符编码方式”

1.在内存中，为了保证正确性，统一使用Unicode；

2.在保存到硬盘中时，为了节省空间，统一使用UTF-8；

3.在传输时候，为了大小合理便于传输，也统一使用UTF-8；

用记事本编辑时，从文件读取的UTF-8字符转换为Unicode字符到内存里；编辑完成后，保存时再把Unicode转换为UTF-8保存到文件：

浏览网页的时候，服务器会把动态生成的Unicode内容（正确性）转换为UTF-8（节约性）再传输到浏览器：

“字符串编码问题”

在内存中，字符串以Unicode格式保存，一个字符占用若干个字节；

如果需要保存到磁盘或者在网络上传输，需要转为字节；

字节中一个字符占用一个字节；

>>> 'ABC'.encode('ascii')  # 纯英文的字符串可以用ascii编码为bytes
b'ABC'
>>> '中文'.encode('utf-8')  # 含中文的字符串可以用utf-8编码为bytes
b'\xe4\xb8\xad\xe6\x96\x87'
>>> '中文'.encode('ascii')  # 含中文的字符串无法用ascii编码为bytes，因为中文编码的范围超过了ascii编码的范围
Traceback (most recent call last):
  File "", line 1, in 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

从磁盘或网络上读到的是字节流，即bytes。把bytes变str的方法：

>>> b'ABC'.decode('ascii')
'ABC'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
'中文'