Python-序列化和反序列化
在Spark中使用广播变量时，选择合适的序列化格式是非常重要的。这里重点讲的是Python中的序列化。
1.序列化和反序列化
序列化就是把数据变成可存储或可传输的过程的，只有序列化后的数据才可以写入到磁盘或者通过网络传输到Spark集群的其他节点上。反序列化则相反，反序列就是把序列化的变量重新转到内存里。
2.Python包的使用
2.1 pickle包
pickle包主要使用的就是4个函数。这个只适用于在python环境中传输。
| pickle.dump() | 将任意对象转化成bytes,并写入文件中。 |
| pickle.dumps() | 将任意对象转化成bytes. |
| pickle.loads() | 从bytes中反序列化出对象 |
| pickle.load() | 从文件中反序列出对象 |
pickle.load()和pickle.dump()用法：
pickle.loads()和pickle.dumps()用法：
但是这里要注意，不要把使用pickle.dumps()方法得到的二进制字符串直接存放到文件中，容易导致UnpicklingError错误(因为文件对象f可能会将二进制串中的特殊字符当做换行符处理)。比如：
另外，还有一个与pickle功能相似的包，即cPickle，这个包底层使用c语言写的，所以运行速度要比pickle包快。