字符串编码与Python 3编码

昨天博客访问量超过20w了,很高兴,也希望这些笔记和文章能够真正帮到更多的人。对于一个做技术的人来说,分享真的会给自己带来很多快乐。不过说来也很惭愧,最近两个月都没写什么新的内容,一直忙于毕业设计和论文的事,也没学什么新的东西。不过想到马上要毕业将要踏上新的征程也是特别兴奋的。

关于字符串编码方面的内容很基础,学了很多次还是记不住,每次要用的时候又去查找相关资料,很麻烦,这里做一个总结记录一下,方便自己下一次查阅,也加深一下记忆(可能是撸多了,记忆力越来越差。。)。

编码


百度百科上对编码和解码的定义如下:编码是用预先规定的方法将文字、数字或其他对象转换成数码的过程。解码是编码的逆向。
这里我们不妨将人类可以很容易理解的消息作为“明文”,将人类不易懂但是更易于存储和传输的消息作为“密文”。那么编码和解码的关系如下:
字符串编码与Python 3编码_第1张图片

因为计算机只能识别0和1,我们人类易于理解的那些符号数字没办法直接存储到计算机中,必须先将这些符号按照事先规定的方式编码成0/1串才能存储到计算机或者通过网络进行传输。当我们从硬盘或者网络中读取文件时,我们读取到的内容全是0/1串,需要将这些内容按照一定的方式解码成我们易于理解的明文,然后才能查看或进行相关的处理。

编码有一个必要条件是编码的过程不能丢失任何信息,我们能够从密文解码出和原文完全一样的内容。

编码方式


将明文编码成密文需要按照一定的编码方式,编码方式多种多样,分别对应于不同的字符集。

ASCII

上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码,一直沿用至今。
ASCII码一共规定了128个字符的编码,比如空格”SPACE”是32(二进制00100000),大写的字母A是65(二进制01000001)。这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的1位统一规定为0。

其他编码

对于英语来说128个字符就已经够用了,但是对于其他语言来说却不够。因此针对不同的语言先后出现了多种编码方式,例如针对中文的GB2312和GBK编码,针对中文繁体的Big5编码等等,这些编码方式都使用多个字节表示一个字符。

Unicode

随着越来越多的编码方式的出现,急需一种能够包含全世界所有符号的编码系统来消灭乱码,这种编码系统就叫做Unicode。Unicode只是一套编码系统,包含所有字符集,却并不规定编码后的二进制代码如何存储。

UTF-32使用4个字节存储每一个字符,但是对于英文字符来说,使用ASCII编码只需1个字节即可存储,这极大的浪费了存储空间。
因此出现了一种变长的编码方式UTF-8,UTF-8是使用得最广泛的Unicode编码实现方式,使用1-4个字节表示一个字符,根据不同的字符变化长度。比如对于英文字符,1个字节就够了,但是对于中文,可能需要2-4个字节才能存储。

Base64

Base64是网络上最常见的用于传输8Bit字节代码的编码方式,可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性,可用作简单的加密方式。

Python 3编码


以前用Python 2,每次使用中文就会碰到各种编码问题,但是Python 3使得字符串编码变得非常简单。

我们可以通过以下代码查看Python 3的字符串默认编码:

import sys
sys.getdefaultencoding()

Python 3的默认编码方式是UTF-8。

使用Python解释器进行如下编码解码操作,在bytes和str之间转换:

>>> '中'.encode()
b'\xe4\xb8\xad'
>>> b'\xe4\xb8\xad'.decode('utf-8')
'中'

我们在使用Python以二进制的形式写入文件时,需要先将字符串编码成字节串,然后再写入文件。以二进制的形式读取文件时也是如此,需要将读取的字节串解码成字符串。


参考文档:
1. 字符编码笔记:ASCII,Unicode和UTF-8
2. Python 3的bytes/str之别
3. Python3的编码问题

你可能感兴趣的:(Python)