本篇主要内容：
1、自定义一个简单的数据集
2、自定义简单的图片数据集示例
3、设置Batch_size以及数据集打乱
4、数据集读取提速操作
一、为什么要写Reader？
简单来说，Reader是一种数据读取器，具有常用数据处理操作，可以快速定义自己的数据集。
在上一篇中，在定义数据和数据读取方面的代码非常短，5行不到。
既然可以做到如此的短，那么为什么还要把这些封装成Reader(数据读取器)呢？
原因也很多，看看有没有你想要的。
1、快速对数据进行打乱、分组、多线程处理
2、更方便进行异步处理
3、速度有提升空间
4、逻辑结构更加清晰，后期维护更加简便！
二、写一个简单的Reader
先直接上代码！
import paddle.fluid as fluid
# 1 初始化环境
place = fluid.CPUPlace()
exe = fluid.Executor(place)
# 2 写一个简单的Reader
def reader():
data = [i for i in range(10)]
for sample in data:
yield sample
# 3 进一步封装
batch_size = 8
train_reader = fluid.io.batch(reader, batch_size=batch_size)
# 4 遍历一下封装后的数据
for i, data in enumerate(train_reader()):
print("第", i, "轮\t", len(data), "\t", data)
输出结果为
>>>
第 0 轮 8 [0, 1, 2, 3, 4, 5, 6, 7]
第 1 轮 2 [8, 9]
其中第一部分不必多说，正常的初始化操作。
第二部分就是一个简单的生成数据data = [i for i in range(10)]然后再遍历这个数据，每遍历一条数据就使用yield进行返回。
yield可以粗略的理解为返回当前的变量，但不终止循环。
如果每次都把全部数据return掉，10条数据还好说，但数据量多了就不太合适了。
所以这里使用yield来进行“吐”数据。
那么数据读取部分写完了，接下来该做些什么呢？
为了更好的进行训练，我们还需要设置Batch_size，这也就是第三部分。
fluid.io.batch(reader = 定义Reader的函数名, batch_size = Batch_size大小)
注意reader =的是函数名reader，而不是reader()！
除此之外，如果还想对数据进行打乱，还可以在这时增加打乱操作
reader = fluid.io.shuffle(reader, buf_size=1024)
train_reader = fluid.io.batch(reader, batch_size=batch_size)
这里的buf_size是打乱时的缓冲区大小，设置为5则视为每5条数据划分为1组，每组数据组内顺序打乱。
我们设置为buf_size为5，batch_size为10，看看会输出什么。
>>>
第 0 轮 10 [4, 0, 2, 3, 1, 9, 6, 8, 5, 7]
>>>
第 0 轮 10 [2, 0, 1, 3, 4, 5, 8, 9, 6, 7]
>>>
第 0 轮 10 [0, 4, 1, 2, 3, 6, 9, 5, 8, 7]
可以看到前5条数据总是0-4之间的数字，而后5条总是5-10。
那么buf_size是不是可以设置很大呢？
当然可以，即使设置为1024都没事，并不会一次性读取那么多的数据再进行打乱
三、复杂的Reader--自定义图片数据集
以简单验证码数据集为例（Demo数据集在文末GitHub链接中可找到）
贴一下数据集大致结构：
文件夹下有2000张单个数字的图片，每个图片命名为索引号.jpg
而标签数据集在一个文本里正序排列。
接下来我们就可以写一个Reader
import numpy as np
import PIL.Image as Image
data_path = "./data"
save_model_path = "./model"
# 读取标签数据
with open(data_path + "/OCR_100P.txt", 'rt') as f:
labels = f.read()
# 构建Reader
def reader():
for i in range(1, 2000):
im = Image.open(data_path + "/" + str(i) + ".jpg").convert('L') # 使用Pillow读取图片
im = np.array(im).reshape(1, 1, 30, 15).astype(np.float32) # NCHW格式
label = labels[i - 1] # 因为循环中i是从1开始迭代的，所有这里需要减去1
yield im, label
这里需要注意的是，PaddlePaddle接收的是Numpy的数组对象，而不是Python内置的列表对象。所以此处使用Numpy转换一下格式。（其实label也可以使用Numpy转换一下）
除此之外，还需要为每一个Numpy对象补上一个“1”，代表返回的是单条数据。
举个例子：一张三通道的32x32图片，正常的shape应该为3x32x32（通道数x长x宽），如果直接返回的是3x32x32，可能会被误以为是一次返回了3条数据，每一条是1x32x32。
我们补上1之后变成1x3x32x32，程序就能挣钱认出这是1张3通道32高度32宽度的图像。
同理，目标检测任务会输入图像、标记框、标签等数据，可以模仿上方操作进行喂数据。
四、提速方案
1、异步读取
文章前面些的都是同步读取方案，如果想提升读取速度、实现实时传入数据并预测等，则需要考虑使用异步读取方案。
可从官网文档中找到相关说明
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/user_guides/howto/prepare_data/use_py_reader.html
但需要注意的是，异步一定比同步快吗？
异步并非比同步快，当数据加载速度跟不上网络运算的速度时，异步才会为训练总进程提速。数据读取完毕之后，当网络部分运算完毕，才有“位置”供数据进入时数据才真正开始喂进网络。若网络部分一直在运算，那么即使数据提前读取了好几组，也是没有“位置”进入网络的。
当然，异步是多线程，占用的开销不会比同步少。
2、多线程数据集处理
如果数据的预处理部分特别繁杂，严重拖慢了程序运行速度，多线程数据集处理则显得很重要。（实际上这种情况并不是很多）
https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api_cn/io_cn/xmap_readers_cn.html#xmap-readers
应用在刚刚的自定义图片数据集的Reader中，增加归一化这一步预处理操作。
# 构建Reader
def reader():
for i in range(1, 2000):
im = Image.open(data_path + "/" + str(i) + ".jpg").convert('L') # 使用Pillow读取图片
im = np.array(im).reshape(1, 1, 30, 15).astype(np.float32) # NCHW格式
label = labels[i - 1] # 因为循环中i是从1开始迭代的，所有这里需要减去1
yield im, label
def normalized(sample):
im, label = sample
im /= 255 # 每个数字除以255， 这样可以保证每个数字都在0-1之间，提升模型训练速度和效果
return im, label
reader = fluid.io.xmap_readers(normalized, reader, process_num=8, buffer_size=10)
这里同样需要注意传入的normalized、reader均为函数名，并非调用函数(在函数名后加括号)，这里的' process_num'为线程数，推荐为CPU线程数的60%，因为部分运算操作仍需要借助CPU，所以尽量不去大幅度占用资源，尽管这些与CPU线程数的关系不是很大。
示例代码以及数据集
https://github.com/GT-ZhangAcer/DLExample/tree/master/easy02_Reader