python3之pickle、yaml、json文件

1、pickle

1.1 简介

• pickle可以将字符串、列表、字典等数据保存在文件中，同时也可以从文件中重新加载这些数据。
• 常见的四个函数：
  • pickle.dump(obj, file) 将字符串等对象保存到文件中;
  • pickle.load(file) 从文件中加载数据;
  • pickle.dumps(obj) 将字符串等对象序列化成string形式；
  • pickle.loads(string) 将string反序列化成原来的obj对象。
  • 总结：涉及到文件的不带s；涉及到字符串的带s。

1.2 实例

1）对字典进行dump和load操作

# pickle_dump_load.py
import pickle

a = {"name": "Tom", "age": 10}
with open("text.pkl", "wb") as file:
    pickle.dump(a, file)
with open("text.pkl", "rb") as file:
    b = pickle.load(file)

print("b type: ", type(b))
print("b: ", b)

第1行，当前程序的文件名称为pickle_dump_load.py。
第2行，导入序列化需要的模块pickle。
第4行，创建包含两个键值对的字典a。
第5行，打开名称为text.pkl的文件（如果当前路径下不存在，则自动创建）；"wb"表示对文件进行“写入”操作；file代表当前打开的该文件对象，可自由命名。
第6行，将字典对象a写入到文件file中。
第7行，打开当前路径下的text.pkl文件；"rb"表示对文件进行“读入操作”。
第8行，从文件file中读入内容，并存储在b中。
第10-11行，显示对象b的类型和内容。

⚠️ 第5行、第7行一定要是'wb'和'rb'，如果只是'w'和'r'会报错。

OUT：

b type:  
b:  {'name': 'Tom', 'age': 10}

2）对列表进行dumps和loads操作

# pickle_dumps_loads.py
import pickle

info = [1, 2, 3, 'abc']
data1 = pickle.dumps(info)
data2 = pickle.loads(data1)

print("原始数据 info: ", info)
print("序列化后数据 data1: ", data1)
print("反序列化后数据 data2: ", data2)

第1行，当前程序的文件名称为pickle_dumps_loads.py。
第2行，导入序列化需要的模块pickle。
第4行，创建一个列表，命名为info。
第5-6行，将info序列化成data1，将data1反序列化成data2。
第8-10行，显示info、data1、data2。
OUT:

原始数据 info:  [1, 2, 3, 'abc']
序列化后数据 data1:  b'\x80\x03]q\x00(K\x01K\x02K\x03X\x03\x00\x00\x00abcq\x01e.'
反序列化后数据 data2:  [1, 2, 3, 'abc']

2、yaml

YAML是一种直观的能够被电脑识别的的数据序列化格式，容易被人类阅读，并且容易和脚本语言交互。YAML类似于XML，但是语法比XML简单得多，对于转化成数组或可以hash的数据时是非常简单有效的。

常见的四个函数：

• yaml.load() 将yaml文件转成python对象
• yaml.dump() 将python对象转成yaml文件
• yaml.dump_all() 将多个python对象生成到一个yaml文件中
• yaml.load_all() 将一个含有多个python对象的yaml文件转成多个python对象

2.1 通过yaml.load()方法将yaml文件转成python对象

1）yaml文件转字典对象，冒号（:）

# config_dict.yaml
name: 灰蓝
age: 0
job: Tester

可以转成：

{'name': '灰蓝', 'age': 0, 'job': 'Tester'}

2）yaml文件转列表对象，短线（-）

# config_list.yaml
- 灰蓝
- 0
- Tester

可以转成：

['灰蓝', 0, 'Tester']

3）yaml文件转字典和列表的复合结构对象

3.1）外层是列表、里层是字典

# config_list_dict.yaml
- name: 灰蓝
  age: 0
- name: James
  age: 30

可以转成:

[{'name': '灰蓝', 'age': 0}, {'name': 'James', 'age': 30}]

从文件config_list_dict.yaml中可以看出：

• 最外层是两条短线（-），表示列表；
• 次外层是键值对形式（:），表明是字典；
• 所以输出结果中，外层是列表，里面有两项，例如{'name': '灰蓝', 'age': 0}, {'name': 'James', 'age': 30}；里面的每一项均是字典，字典中有两个键值对。

3.2）外层是字典、里层是列表

# config_dict_list.yaml
name: 
  - 灰蓝
  - James
age:
  - 0
  - 30

可以转成：

{'name': ['灰蓝', 'James'], 'age': [0, 30]}

从文件config_dict_list.yaml可以看出：

• 最外层是键值对形式（:），表示字典；次外层是短线（-），表示列表；
• 所以输出结果中，外层是字典，包含两个键值对name': ['灰蓝', 'James']和'age': [0, 30]；里层每个键值对的值是列表，例如第一个键值对的值为['灰蓝', 'James']。

4）python实现将一个较为复杂的字典、列表复合的yaml文件转成python对象的过程。

# config.yaml
name: Tom Smith
age: 37
spouse:
    name: Jane Smith
    age: 25
children:
 - name: Jimmy Smith
   age: 15
 - name1: Jenny Smith
   age1: 12

# test_yaml.py
import yaml
f = open('config.yml')
y = yaml.load(f)
print (y)

OUT:

{'name': 'Tom Smith', 'age': 37, 'spouse': {'name': 'Jane Smith', 'age': 25}, 'children': [{'name': 'Jimmy Smith', 'age': 15}, {'name1': 'Jenny Smith', 'age1': 12}]}

整理后的输出结果：

{
 'name'    : 'Tom Smith',
 'age'     : 37, 
 'spouse'  : {'name': 'Jane Smith', 
              'age' :  25},
 'children': [{'name': 'Jimmy Smith',
               'age' :  15},
              {'name1':'Jenny Smith', 
               'age1' : 12}]
}

通过整理后的输出结果与config.yaml文件的对比就可以找到test_yaml.py是怎样对config.yaml文件进行解析。

2.2 通过yaml.dump()将python对象生成yaml文件

import yaml

a = {'name': 'Tom Smith', 'age': 37, 'spouse': {'name': 'Jane Smith', 'age': 25}, 'children': [{'name': 'Jimmy Smith', 'age': 15}, {'name1': 'Jenny Smith', 'age1': 12}]}
f = open('config.yaml', 'w')  # 'w'表示写入文件
yaml.dump(a, f)

OUT:

2.3 通过 yaml.dump_all() 将多个python对象生成到一个yaml文件中

import yaml

obj1 = {"name": "James", "age": 20}
obj2 = ["Lily", 19]

with open('config.yaml', 'w') as f:
    yaml.dump_all([obj1, obj2], f)

查看文件config.yaml中的文件内容如下：

age: 20
name: James
---
- Lily
- 19

2.4 通过yaml.load_all() 将一个含有多个python对象的yaml文件转成多个python对象

import yaml
f = '''
name: James
age: 20
---
name: Lily
age: 19
'''
y = yaml.load_all(f)
for data in y:
    print(data)

⚠️y = yaml.load_all(f) 中，生成的f是迭代器，所以通过循环方式进行打印。
⚠️f中包含的两个对象以 (---)进行分割
OUT：

{'name': 'James', 'age': 20}
{'name': 'Lily', 'age': 19}

3、json文件

JSON数据全称是JavaScript Object Notation编码格式的数据。
python中的json模块模块提供了一种很简单的方式来编码和解码JSON数据。

3.1 json.dumps() 和 json.loads()

• 函数末尾有s，针对于字符串；
• json.dumps()将python对象（列表、字典等）转变成json字符串；
• json.loads() 将json字符串转变成python对象

实例：

import json

data1 = {
    'name': 'ACME',
    'shares': 100,
    'price': 542.23
}

json_str = json.dumps(data1)
data2 = json.loads(json_str)

print('data1: ', data1)
print('json_str: ', json_str)
print('data2: ', data2)

print('data1 type: ', type(data1))
print('json_str type: ', type(json_str))
print('data2 type: ',  type(data2))

第1行，导入json模块。
第3-7行，创建字典data1。
第9行，通过json.dumps()方法将data1转成json字符串，并将其存储在json_str中。
第10行，将json_str字符串转成对应的python对象，存储于data2中。
第12-18行，打印出data1、json_str、data2的值及对应的类型。
OUT:

data1:  {'name': 'ACME', 'shares': 100, 'price': 542.23}
json_str:  {"name": "ACME", "shares": 100, "price": 542.23}
data2:  {'name': 'ACME', 'shares': 100, 'price': 542.23}
data1 type:  
json_str type:  
data2 type:  

3.2 json.dump() 和json.load()

• 函数末尾没有s，针对于文件
• json.dump(obj, file) 将python对象存储于文件file中；
• json.load(file) 从文件file中加载出python对象。

实例：

import json

data1 = {
    'name': 'ACME',
    'shares': 100,
    'price': 542.23
}

# Writing JSON data
with open('data.json', 'w') as f:
    json.dump(data1, f)

# Reading data back
with open('data.json', 'r') as f:
    data2 = json.load(f)

print("data1 == data2: ", data1 == data2)

OUT:

data1 == data2:  True

第10行，打开文件data.json（当前目录下如果不存在data.json，则创建）；'w'表示对文件data.json进行“写入”操作。
第11行，将data1字典写入到文件中。
第14行，与第10行正好相反；'r'表示对文件data.json进行“读取”操作。
第15行，从文件中读取内容，并存储到data2中。
第17行，判断data1和data2是否一直，输出结果显示二者相等。

参考文献

python3 pickle模块详解
python yaml用法详解
读写JSON数据