Python的IO编程三

一、为什么要序列化

在程序运行的过程中，所有的变量都是在内存中，比如我们新建一个use_pickle模块并且在其中定义一个dict：然后打开交互式（注意模块的命名不要和内置模块一样，否则你导入自己的模块后无法调用内置模块的方法。除非重启python的交互式解释器）

d = dict(name = 'Bob', age = 20 , score = 88)  
# d['age'] = 30
# print(d)

#输出
# >>> import use_pickle    
# >>> print(use_pickle.d)
# {'name': 'Bob', 'age': 20, 'score': 88}
# >>> use_pickle.d['name'] = 'Bill'             
# >>> print(use_pickle.d)
# {'name': 'Bill', 'age': 20, 'score': 88}
# >>> exit()                                    

# C:\Users\ljs\Desktop>python
# Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32
# Type "help", "copyright", "credits" or "license" for more information.
# >>> import use_pickle
# >>> print(use_pickle.d)
# {'name': 'Bob', 'age': 20, 'score': 88}

把name改成'Bill'，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。
如果没有把修改后的'Bill'存储到磁盘上，下次重新运行程序，变量又被初始化为'Bob',如上面所示。

二、序列化

我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
Python提供了pickle模块来实现序列化。

• 2.1 把一个对象序列化用到了pickle的dumps方法

import pickle
d = dict(name = 'Bob', age = 20, score = 88)
b = pickle.dumps(d)     #把d对象序列化为一个bytes
print(b)
with open('dump.py','wb') as f: #把b写入dump.py，注意不要写进txt，window下的txt会乱码
    f.write(b)

#报错AttributeError: module 'pickle' has no attribute 'dumps'，
#原因是我们原先把这个模块起名为pickle.py，更改后没删除原来的。
#成功后，我们就可以看到桌面有个dump.py，用sublime打开里面一串
# 8003 7d71 0028 5804 0000 006e 616d 6571
# 0158 0300 0000 426f 6271 0258 0300 0000
# 6167 6571 034b 1458 0500 0000 7363 6f72
# 6571 044b 5875 2e

• 2.2 还有另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object

with open('dump.py','wb') as f:
    pickle.dump(d,f)

#结果和上面一样

三、反序列化

当我们要把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。
我们打开另一个Python命令行来反序列化刚才保存的对象：

with open('dump.py','rb') as f:
    d2 = pickle.load(f)
    print(d2)
print(d == d2)
print(d is d2)


# 输出：
# {'name': 'Bob', 'age': 20, 'score': 88}
# True
# False

变量的内容又回来了
当然，这个变量和原来的变量是完全不相干的对象，它们只是内容相同而已。

四、JSON

pickle只能用于python，如果我们想在不同的编程语言之间传递对象，就必须就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。
JSON和Python内置的数据类型对应如下：

JSON类型	Python类型
{}	dict
[]	list
"string"	str
1234.56	int或float
true/false	True/False
null	None

• 4.1 现在我们就用python内置的json模块把python对象转换为json

import json
d3 = dict(name = 'Bob', age = 20, score = 88)
print(json.dumps(d))

# 输出：
# {"name": "Bob", "age": 20, "score": 88}
# dumps()方法返回一个str，内容就是标准的JSON。
# 类似的，dump()方法可以直接把JSON写入一个file-like Object

• 4.2 把json序列化为python对象，用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化

json_str = '{"age":20,"score":88,"name":"Bob"}'
print(json.loads(json_str))
# 输出：
# {'age': 20, 'score': 88, 'name': 'Bob'}
#由于JSON标准规定JSON编码是UTF-8，所以我们总是能正确地在Python的str与JSON的字符串之间转换。

五、JSON进阶

python的dict对象可以直接序列化为json的{}，更多时候我们是用class来表示对象，那么如何把一个实例化的对象转换为json呢？

import json
class Student(object):
    def __init__(self, name, age, score):
        self.name = name
        self.age = age
        self.score = score

s = Student('Bob', 20, 88)
#print(json.dumps(s))

# 输出：
# TypeError: Object of type 'Student' is not JSON serializable

不是不能把class的实例对象序列化为json，而是需要添加参数
我们仔细看看dumps()方法的参数列表，可以发现，除了第一个必须的obj参数外，dumps()方法还提供了一大堆的可选参数：
https://docs.python.org/3/library/json.html#json.dumps
这些可选参数就是让我们来定制JSON序列化。前面的代码之所以无法把Student类实例序列化为JSON，是因为默认情况下，dumps()方法不知道如何将Student实例变为一个JSON的{}对象。
可选参数default就是把任意一个对象变成一个可序列为JSON的对象，我们只需要为Student专门写一个转换函数，再把函数传进去即可：

def student2dict(std):
    return {
        'name':std.name,
        'age':std.age,
        'score':std.score
    }
# 这样，Student实例首先被student2dict()函数转换成dict，然后再被顺利序列化为JSON：
print(json.dumps(s, default=student2dict))

# 输出：
# {"name": "Bob", "age": 20, "score": 88}

那如果我想把不同class的实例序列化，这样不是得每个类都写一个转换函数？
我们可以用dict和匿名函数来简化
因为通常class的实例都有一个dict属性，它就是一个dict，
用来存储实例变量。也有少数例外，比如定义了slots的class。

print(json.dumps(s,default=lambda obj:obj.__dict__))

当然我们也可以把一个json反序列化为一个STudent对象实例,loads()方法首先转换出一个dict对象，
然后，我们传入的object_hook函数负责把dict转换为Student实例：

def dict2student(d):
    return Student(d['name'],d['age'],d['score'])
json_str = '{"age":20,"score":88,"name":"Bob"}'
print(json.loads(json_str, object_hook = dict2student))

# 输出：
# <__main__.Student object at 0x0000019EEECD9EF0>

六、 练习：

对中文进行JSON序列化时，json.dumps()提供了一个ensure_ascii参数，观察该参数对结果的影响：

import json
obj = dict(name = '小明', age = 20)
s = json.dumps(obj, ensure_ascii = True)
s2 = json.dumps(obj, ensure_ascii = False)
print(s)
print(s2)

# 输出：
# {"name": "\u5c0f\u660e", "age": 20}
# {"name": "小明", "age": 20}

结论：
ensure_ascii=True,保证所有传入的非ASCII的字符都被转义，如果为false，则保持原样输出

最后推荐一首惬意的歌，Redbone。