Python 基础与入门(3)---字符串和编码

此学习笔记参考廖雪峰

---

字符串编码的发展历史

1. 字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码。
2. 但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。
3. 全世界有上百种语言, 各国有不同的编码，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。因此，Unicode应运而生。Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。
4. ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。
5. 用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。
6. 在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

Python的字符串以及编码与解码

在最新的Python 3版本中，字符串是以Unicode编码的，也就是说，Python的字符串支持多语言。

• 对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符。
• 在python3 中，文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。字符串可以编码成字节包，而字节包可以解码成字符串(Ref)。
  
  字符串和字节包的关系
• Python对bytes类型的数据用带b前缀的单引号或双引号表示。要注意区分'ABC'和b'ABC'，前者是str，后者虽然内容显示得和前者一样，但bytes的每个字符都只占用一个字节。
• 以Unicode表示的str通过encode()方法可以编码为指定的bytes;
  反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法.
• 在操作字符串时，我们经常遇到str和bytes的互相转换。为了避免乱码问题，应当始终坚持使用UTF-8编码对str和bytes进行转换。
• 由于Python源代码也是一个文本文件，所以，当你的源代码中包含中文的时候，在保存源代码时，就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时，为了让它按UTF-8编码读取，我们通常在文件开头写上这两行：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

• 申明了UTF-8编码并不意味着你的.py文件就是UTF-8编码的，必须并且要确保文本编辑器正在使用UTF-8 without BOM编码

格式化的字符串

在Python中，采用的格式化方式和C语言是一致的，用%实现。

占位符	替换内容
%d	整数
%f	浮点数
%s	字符串
%x	十六进制整数

格式化整数和浮点数还可以指定是否补0和整数与小数的位数，例如：

In [20]: print('%2d-%02d' % (3, 1))
 3-01

其中%2d表示两位精度整数，%02d表示两位整数，并且用0补位。

• 如果你不太确定应该用什么，%s永远起作用，它会把任何数据类型转换为字符串：