pickle模块学习和一次惨痛（sb）的debug经历
pickle模块实现了把Python对象结构进行序列化和反序列化（ serializing and de-serializing a Python object structure）的二进制协议。
pickling: 把对象序列化为字节流a byte stream
unpickling: 把二进制文件binary file的字节流转换为对象
JSON： 文本序列化格式a text serialization format，输出一个Unicode文本， 人类可读（human-readable）
而pickle是二进制的序列化文件，a relatively compact binary representation， 人类不可读，pickle只能用于Python（Python-specific）。
记一次关于pickle的惨痛的debug
教训：debug首先看文档，文档看完整了解决不了再上网搜
第一次用Python的pickle处理数据文件，这次只是涉及读取数据，把数据集（dat文件）解析成numpy数组，方便在Python里面进行后续处理。对pickle不熟悉，所以一直没找到debug的门路和关键方向，实际上还是报错的字面意思，就是编码格式不对，我还舍近求远搞了好多不必要的幺蛾子，，，
不算debug吧， 是想用Python读入一批.dat数据，一直没成功，结果竟然倒腾了一下午还加半个晚上，把网上的博客，百科翻了个底朝天！！！！像每回debug一样，中间再次开始质疑自己智商，这TMD还能搬个啥砖？？？
幸好最后终于算是解决了，还以为要搞上一两天呢，还好还好
最终正确代码：
# coding: utf-8
import pickle
import numpy as np
# 读入数据
x = pickle.load(open('D:\ProgramData\Anaconda3\MyData\data_preprocessed_python\s01.dat', 'rb'),encoding='latin1')
for key in x.keys():
print(key)
print(x['labels'].shape)
print(x['data'].shape)
输出结果
labels
data
(40, 4)
(40, 40, 8064)
关键就在于pickle.load()那行代码里面最后的encoding参数，应该输入latin1，默认的是ascii, 但会一直报错
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd7 in position 0: ordinal not in range(128)
看看文档里面写的是多么清楚!!!
结果我嫌英文看着烦，看个大概几句就跑去各种搜索，执行各种事倍功半的尝试：
- 刚开始以为问题在于要用cPickle包，一番查询后明白了cPickle包使用C语言写的比较高效，但它是Python2的东西，Python3已经被淘汰了，现在就用pickle就棒棒的没问题
- 中间尝试过文档中的’bytes’编码选项，，都没往后多看一行······为自己的愚蠢默默落下了悔恨的眼泪
确实不报上面那个错了，但不知道为啥读入的字典变量的键成了这个样子：（至今未解这个b和引号是从哪里来的）
b'labels'
b'data'
然后想用某博客的方法改变字典变量的键名不改值，结果由于涉及到字符串的单双引号，改不成功
# coding: utf-8
import pickle
import numpy as np
# 读入数据
x = pickle.load(open('D:\ProgramData\Anaconda3\MyData\data_preprocessed_python\s01.dat', 'rb'), encoding='bytes')
for key in x.keys():
print(key)
x['data'] = x.pop(" b'data' ")
报错：
b'labels'
b'data'
x['data'] = x.pop(" b'data' ")
KeyError: " b'data' "
- 把dat文件转换为txt再用numpy.loadtxt进行读取，不行，因为转为TXT文件后乱码，一堆乱七八糟的，也没法读入
- 直接读取，看到别的博客这样做成功了，我估计我没成功是因为我的dat文件里有两个numpy array.
x = np.fromfile('D:\ProgramData\Anaconda3\MyData\data_preprocessed_python\s01.dat', dtype=int)
- 对dat文件格式感到非常好奇，于是尝试用MATLAB打开，结果MATLAB显示正在打开大型文本文件，打开后也是各种乱码，没用
总结：
对函数/模块不了解先仔细看完官方文档，再去搜索网上的零七八碎的资源，有时候网上资源很好使，但有的时候遇到的难题在网上并不能找到很多共鸣，而且有一些资源用的是python2，结果引入很多误会浪费时间，这次问题虽然花了不少时间，但是是由于自己方法不当导致的