迷途小书童的 Note
读完需要
7
分钟速读仅需 3 分钟
大家好,我是迷途小书童!
在 Python 开发中,我们经常需要将对象数据保存到磁盘,或者通过网络传输对象信息。这时就需要序列化,Pickle 库为我们提供了极为方便的对象序列化功能。本文将全面解析 Pickle 的工作机制、典型应用及示例代码,希望可以帮助初学者快速掌握这个实用的内置模块。
1
简介
pickle 模块实现了对一个 Python 对象结构的二进制序列化和反序列化。pickling 是将 Python 对象及其所拥有的层次结构转化为一个字节流的过程,而 unpickling 是相反的操作,会将字节流转化回一个对象层次结构。
Python 中几乎所有的数据类型(列表,字典,集合,类等)都可以用 pickle 来序列化。
2
常用方法
pickle 模块提供了以下方法,让序列化和反序列化的过程更加方便
dump 方法
pickle.dump(obj, file, protocol=None, *, fix_imports=True, buffer_callback=None)
将对象 obj 序列化以后的对象写入已打开的文件对象中。参数 protocol 是序列化模式,默认值为 0,表示以文本的形式序列化。protocol 的值还可以是 1 或 2,表示以二进制的形式序列化。
dumps 方法
pickle.dumps(obj, protocol=None, *, fix_imports=True, buffer_callback=None)
将 obj 封存以后的对象作为 bytes 类型直接返回,而不是将其写入到文件对象中。各参数与 dump 中的一样。
load 方法
pickle.load(file, *, fix_imports=True, encoding="ASCII", errors="strict", buffers=None)
从已打开文件对象中读取序列化后的对象,重建其中特定对象的层次结构并返回。
pickle 协议版本是自动检测出来的,所以不需要参数来指定协议。封存对象以外的其他字节将被忽略。
loads 方法
pickle.loads(data, /, *, fix_imports=True, encoding="ASCII", errors="strict", buffers=None)
重建并返回 data 的对象层级结构。data 是序列化后的 bytes 对象。
3
示例代码
首先,来看看序列化的过程,分别将字符串、字典和列表进行序列化,使用 dump 方法
(demo) PS C:\Users\Administrator> ipython
Python 3.7.6 (default, Jan 8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)]
Type 'copyright', 'credits' or 'license' for more information
IPython 7.12.0 -- An enhanced Interactive Python. Type '?' for help.
In [1]: aString = 'xugaoxiang.com'
In [2]: aDict = {'p': 'python', 'r': 'rust', 's': 'swift'}
In [3]: aList = ['one', 'two', 'three']
In [5]: f = open('test.pkl', 'wb')
In [6]: pickle.dump(aString, f, True)
In [7]: pickle.dump(aDict, f, True)
In [8]: pickle.dump(aList, f, True)
In [9]: f.close()
In [10]:
这时候,在目录 C:\Users\Administrator 就生成了二进制文件 test.pkl
接下来开始反序列化
In [11]: f = open('test.pkl', 'wb')
In [12]: pickle.dump(aString, f, True)
In [13]: pickle.dump(aDict, f, True)
In [14]: pickle.dump(aList, f, True)
In [15]: f.close()
In [16]: f1 = open('test.pkl', 'rb')
In [17]: lString = pickle.load(f1)
In [18]: lString
Out[18]: 'xugaoxiang.com'
In [19]: lDict = pickle.load(f1)
In [20]: lDict
Out[20]: {'p': 'python', 'r': 'rust', 's': 'swift'}
In [21]: lList = pickle.load(f1)
In [22]: lList
Out[22]: ['one', 'two', 'three']
In [23]: f1.close()
通过以上代码,可以看到反序列化的过程跟序列化的顺序一样,这一点跟数据结构中的队列很像。
4
文件对象不可以序列化
python 不能序列化文件对象,或者任何带有对文件对象引用的对象,因为在反序列化时无法保证它可以重建该文件的状态。看下面的示例
In [32]: f = open('test.pkl', 'wb')
In [33]: p = pickle.dumps(f)
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
in
----> 1 p = pickle.dumps(f)
TypeError: cannot serialize '_io.BufferedWriter' object
In [34]:
5
可移植性
pickle 文件格式独立于机器的体系结构,这也就意味着,可以在 linux 下创建一个 pickle,然后将它发送到在 Windows 或 MacOS 下运行的 Python 程序。而且,当 python 版本升级时,也不必担心已有的 pickle 操作出现问题,可以向后兼容。
6
免费社群