TFRecords与训练数据存储

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

8.1 TFRecords与训练数据存储

学习目标

• 目标
  • 说明深度学习样本流程实践
  • 说明Example的结构
• 应用
  • 应用TF保存Spark构建的样本到TFRecords文件

8.1.1 深度学习训练样本流程实践

Spark原始数据整合 -> Spark/TF生成TFRecord -> TF数据并行训练 -> TensorFlow Serving线下评估 -> CPU线上预测。TFRecords是TensorFlow官方推荐使用的数据格式化存储工具，它不仅规范了数据的读写方式，还大大地提高了IO效率。

8.1.1.1 剥离预处理流程

在模型的试验阶段，为了快速试验，数据预处理逻辑与模型训练部分都耦合在一起，而数据预处理包含大量IO类型操作，所以很适合用HadoopMR或者Spark处理。具体流程如下：

1、在预处理阶段将查表、join字典等操作都做完，并且将查询结果与原始数据merge在一起。

2、将libfm格式的数据转为易于TensorFlow操作的SparseTensor方式：

3、将原始数据转换为TensorFlow Record。

8.1.1.2 选择正确的IO训练方式

TensorFlow读取数据的方式主要有2种，一般选择错误会造成性能问题，两种方式为：

• Feed_dict：通过feed_dict将数据喂给session.run函数，这种方式的好处是思路很清晰，易于理解。缺点是性能差，性能差的原因是feed给session的数据需要在session.run之前准备好，如果之前这个数据没有进入内存，那么就需要等待数据进入内存，而在实际场景中，这不仅仅是等待数据从磁盘或者网络进入内存的事情，还可能包括很多前期预处理的工作也在这里做，所以相当于一个串行过程。此时，GPU显存处于等待状态，同时，由于tf的Graph中的input为空，所以CPU也处于等待状态，无法运算。

• RecordReader：

  • 在tf中还有batch与threads的概念，可以异步的读取数据，保证在GPU或者CPU进行计算的时候，读取数据这个操作也可以多线程异步执行。

优化过程

• 将整体程序中的预处理部分从代码中去除，直接用Map-Reduce批处理去做。
• MR输出为TensorFlow Record格式，避免使用Feed_dict。

8.1.2 什么是TFRecords文件

TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。TFRecords内部使用了“Protocol Buffer”二进制数据编码方案，只要生成一次TFRecords，之后的数据读取和加工处理的效率都会得到提高。

• 文件格式 *.tfrecords

优势以及特点：

• 使用TFRecords和直接从硬盘读取原生数据相比到底有什么优势呢？
  • Tensorflow有和TFRecords配套的一些函数，可以加快数据的处理。实际读取TFRecords数据时，先以相应的TFRecords文件为参数，创建一个输入队列，这个队列有一定的容量（视具体硬件限制，用户可以设置不同的值），在一部分数据出队列时，TFRecords中的其他数据就可以通过预取进入队列，并且这个过程和网络的计算是独立进行的。
  • 网络每一个iteration的训练不必等待数据队列准备好再开始，队列中的数据始终是充足的，而往队列中填充数据时，也可以使用多线程加速。

读取线程源源不断地将文件系统中的图片读入到一个内存的队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队列中取就可以了。这样就可以解决GPU因为IO而空闲的问题！

8.1.3 Example结构解析

TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)。可以获取你的数据， 将数据填入到Example协议内存块(protocol buffer)，将协议内存块序列化为一个字符串， 并且通过tf.python_io.TFRecordWriter 写入到TFRecords文件。

• exampel:tf.train.Example 协议内存块(protocol buffer)(协议内存块包含了字段 Features)，Features包含了一个Feature字段，Features中包含要写入的数据、并指明数据类型。这是一个样本的结构，批数据需要循环存入这样的结构

 example = tf.train.Example(features=tf.train.Features(feature={
                "features": tf.train.Feature(bytes_list=tf.train.BytesList(value=[features])),
                "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[label])),
            }))

• tf.train.Example(features=None)
  • 写入tfrecords文件
  • features:tf.train.Features类型的特征实例
  • return：example格式协议块
• tf.train.Features(feature=None)
  • 构建每个样本的信息键值对
  • feature:字典数据,key为要保存的名字
  • value为tf.train.Feature实例
  • return:Features类型
• tf.train.Feature(options)
  • options：例如
    • bytes_list=tf.train. BytesList(value=[Bytes])
    • int64_list=tf.train. Int64List(value=[Value])
  • 支持存入的类型如下
  • tf.train.Int64List(value=[Value])
  • tf.train.BytesList(value=[Bytes])
  • tf.train.FloatList(value=[value])

这种结构是不是很好的解决了数据和标签(训练的类别标签)或者其他属性数据存储在同一个文件中

使用步骤：

在将其他数据存储为TFRecords文件的时候，需要经过两个步骤： （1）建立TFRecord存储器 （2）构造每个样本的Example模块 构造每个样本的Example步骤 （1）读取待存文件内容，转化为bytes或者其他类型形式 （2）数据合并成tf.train.Features(类似dict形式） （3）把features存入一个tf.train.Example （4）把example序列化，并写入文件

第一步，生成TFRecord Writer

writer = tf.python_io.TFRecordWriter(path, options=None)

path：TFRecord文件的存放路径；

option：TFRecordOptions对象，定义TFRecord文件保存的压缩格式；

第二步 1、指定tf.train.Feature类型，合并成tf.train.Features

一个协议信息特征（这里翻译可能不准确）是将原始数据编码成特定的格式，内层feature是一个字典值，它是将某个类型列表编码成特定的feature格式，而该字典键用于读取TFRecords文件时索引得到不同的数据，某个类型列表可能包含零个或多个值，列表类型一般有BytesList, FloatList, Int64List

tf.train.BytesList(value=[value]) # value转化为字符串（二进制）列表
tf.train.FloatList(value=[value]) # value转化为浮点型列表
tf.train.Int64List(value=[value]) # value转化为整型列表

其中，value是你要保存的数据。内层feature编码方式：

feature_internal = {
"width":tf.train.Feature(int64_list=tf.train.Int64List(value=[width])),
"weights":tf.train.Feature(float_list=tf.train.FloatList(value=[weights])),
"image_raw":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_raw]))
}

外层features再将内层字典编码：

features_extern = tf.train.Features(feature_internal)

• tf.train.Feature这个接口可以编码封装列表类型和字典类型，内层用的是tf.train.Feature
• 外层使用tf.train.Features

使用tf.train.Example将features编码数据封装成特定的PB协议格式

example = tf.train.Example(features_extern)

3、将example数据系列化为字符串

example_str = example.SerializeToString()

4、将系列化为字符串的example数据写入协议缓冲区

writer.write(example_str)

8.1.4 案例：CIFAR10数据存入TFRecords文件

8.1.4.1 分析

• 构造存储实例，tf.python_io.TFRecordWriter(path)
  • 写入tfrecords文件
  • path: TFRecords文件的路径
  • return：写文件
  • method
  • write(record):向文件中写入一个example
  • close():关闭文件写入器
• 循环将数据填入到Example协议内存块(protocol buffer)

8.1.4.2 代码

对于每一个点击事件样本数据，都需要写入到example当中，所以这里需要取出每一样本进行构造存入

# 保存到TFRecords文件中
df = train_res.select(['user_id', 'article_id', 'clicked', 'features'])
df_array = df.collect()
import pandas as pd
df = pd.DataFrame(df_array)

存储

import tensorflow as tf

def write_to_tfrecords(click_batch, feature_batch):
    """将用户与文章的点击日志构造的样本写入TFRecords文件
    """

    # 1、构造tfrecords的存储实例
    writer = tf.python_io.TFRecordWriter("./train_ctr_20190605.tfrecords")

    # 2、循环将所有样本一个个封装成example，写入这个文件
    for i in range(len(click_batch)):
        # 取出第i个样本的特征值和目标值，格式转换
        click = click_batch[i]
        feature = feature_batch[i].tostring()
        # [18.0, 0.09475817797242475, 0.0543921297305341...

        # 构造example，int64, float64, bytes
        example = tf.train.Example(features=tf.train.Features(feature={
            "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[click])),
            "feature": tf.train.Feature(bytes_list=tf.train.BytesList(value=[feature]))
        }))

        # 序列化example,写入文件
        writer.write(example.SerializeToString())

    writer.close()

# 开启会话打印内容
with tf.Session() as sess:
    # 创建线程协调器
    coord = tf.train.Coordinator()

    # 开启子线程去读取数据
    # 返回子线程实例
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)

    # 存入数据
    write_to_tfrecords(df.iloc[:, 2], df.iloc[:, 3])

    # 关闭子线程，回收
    coord.request_stop()

    coord.join(threads)