DeepLabV3+(tensorflow)工程应用系列（二）—— TFRecord生成VOC2012训练数据

  在上一篇博文中，我们介绍如何借助【 Labelme】软件制作原始的语义分割的标注数据。那么，如何将标注生成的数据（比如掩码图）转化为训练直接可以使用的数据？本篇博文将详细如何使用 TFRecord生成【 PASCAL VOC2012】训练数据。

一、PASCAL VOC 2012简介

  该数据集是常用的语义分割数据集，总共有20类分割目标。在我之前的博文中，详细介绍了该数据集的详细内容，请参考博文：PASCAL VOC 2012 数据集解析。

二、什么是TFRecord？

  TFRecord 格式是一种用于存储二进制记录序列的简单格式。协议缓冲区是一个跨平台、跨语言的库，用于高效地序列化结构化数据。协议消息由 .proto 文件定义，这通常是了解消息类型最简单的方法。tf.Example 消息（或 protobuf）是一种灵活的消息类型，表示 {"string": value} 映射。它专为 TensorFlow 而设计，并被用于 TFX 等高级 API。

1. tf.Example消息的数据类型
   tf.train.BytesList：可以使用的类型包括 string和 byte.
   tf.train.FloatList:：可以使用的类型包括 float和double.
   tf.train.Int64List：可以使用的类型包括 enum,bool, int32, uint32, int64,uint64.

   类型转换函数如下：

   # The following functions can be used to convert a value to a type compatible
   # with tf.Example.
   
   def _bytes_feature(value):
     """Returns a bytes_list from a string / byte."""
     if isinstance(value, type(tf.constant(0))):
       value = value.numpy() # BytesList won't unpack a string from an EagerTensor.
     return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
   
   def _float_feature(value):
     """Returns a float_list from a float / double."""
     return tf.train.Feature(float_list=tf.train.FloatList(value=[value]))
   
   def _int64_feature(value):
     """Returns an int64_list from a bool / enum / int / uint."""
     return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
   

2. 创建tf.Example消息
   在实践中，数据集可能来自任何地方，但是从单个观测值创建 tf.Example 消息的过程相同：（a）在每个观测结果中，需要使用上述其中一种函数，将每个值转换为包含三种兼容类型之一的 tf.train.Feature；（b）创建一个从特征名称字符串到第 1 步中生成的编码特征值的映射（字典）；（c）将第 2 步中生成的映射转换为 Features 消息。

   ---

   比如，使用 NumPy 创建一个数据集，此数据集将具有 4 个特征：
     （a）具有相等 False 或 True 概率的布尔特征；
     （b）从 [0, 5] 均匀随机选择的整数特征；
     （c）通过将整数特征作为索引从字符串表生成的字符串特征；
     （d）来自标准正态分布的浮点特征；

   ---

   创建消息的实例如下代码如下，比如创建10000个样本

   # The number of observations in the dataset.
   n_observations = int(10000)
   
   # Boolean feature, encoded as False or True.
   feature0 = np.random.choice([False, True], n_observations)
   
   # Integer feature, random from 0 to 4.
   feature1 = np.random.randint(0, 5, n_observations)
   
   # String feature
   strings = np.array([b'cat', b'dog', b'chicken', b'horse', b'goat'])
   feature2 = strings[feature1]
   
   # Float feature, from a standard normal distribution
   feature3 = np.random.randn(n_observations)
   

   ---

   可以使用 _bytes_feature、_float_feature 或 _int64_feature 将下面的每个特征强制转换为兼容 tf.Example 的类型。然后，可以通过下面的已编码特征创建 tf.Example 消息：

   def serialize_example(feature0, feature1, feature2, feature3):
     """
     Creates a tf.Example message ready to be written to a file.
     """
     # Create a dictionary mapping the feature name to the tf.Example-compatible
     # data type.
     feature = {
         'feature0': _int64_feature(feature0),
         'feature1': _int64_feature(feature1),
         'feature2': _bytes_feature(feature2),
         'feature3': _float_feature(feature3),
     }
   
     # Create a Features message using tf.train.Example.
     example_proto = tf.train.Example(features=tf.train.Features(feature=feature))
     return example_proto.SerializeToString()
   

   ---

   例如，假设我们从数据集中获得了一个观测值 [False, 4, bytes('goat'), 0.9876]。可以使用 serialize_example() 创建和打印此观测值的 tf.Example 消息。如上所述，每个观测值将被写为一条 Features 消息。请注意，tf.Example 消息只是 Features 消息外围的包装器：

   # This is an example observation from the dataset.
   example_observation = []
   
   serialized_example = serialize_example(False, 4, b'goat', 0.9876)
   print(serialized_example)
   

   打印结果如下：

   b'\nR\n\x14\n\x08feature3\x12\x08\x12\x06\n\x04[\xd3|?\n\x14\n\x08feature2\x12\x08\n\x06\n\x04goat\n\x11\n\x08feature0\x12\x05\x1a\x03\n\x01\x00\n\x11\n\x08feature1\x12\x05\x1a\x03\n\x01\x04'
   

   要解码消息，使用 tf.train.Example.FromString 方法，代码如下：

   example_proto = tf.train.Example.FromString(serialized_example)
   print(example_proto)
   

   打印结果如下：

   features {
     feature {
       key: "feature0"
       value {
         int64_list {
           value: 0
         }
       }
     }
     feature {
       key: "feature1"
       value {
         int64_list {
           value: 4
         }
       }
     }
     feature {
       key: "feature2"
       value {
         bytes_list {
           value: "goat"
         }
       }
     }
     feature {
       key: "feature3"
       value {
         float_list {
           value: 0.9876000285148621
         }
       }
     }
   }
   
   

   ---

   上述内容的完整代码如下所示，

   import tensorflow as tf
   import numpy as np
   
   
   # The following functions can be used to convert a value to a type compatible
   # with tf.Example.
   
   def _bytes_feature(value):
   	"""Returns a bytes_list from a string / byte."""
   	if isinstance(value, type(tf.constant(0))):
   		value=value.numpy()  # BytesList won't unpack a string from an EagerTensor.
   	return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
   
   
   def _float_feature(value):
   	"""Returns a float_list from a float / double."""
   	return tf.train.Feature(float_list=tf.train.FloatList(value=[value]))
   
   
   def _int64_feature(value):
   	"""Returns an int64_list from a bool / enum / int / uint."""
   	return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
   
   
   # The number of observations in the dataset.
   n_observations=int(1e4)
   
   # Boolean feature, encoded as False or True.
   feature0=np.random.choice([False, True], n_observations)
   
   # Integer feature, random from 0 to 4.
   feature1=np.random.randint(0, 5, n_observations)
   
   # String feature
   strings=np.array([b'cat', b'dog', b'chicken', b'horse', b'goat'])
   feature2=strings[feature1]
   
   # Float feature, from a standard normal distribution
   feature3=np.random.randn(n_observations)
   
   
   def serialize_example(feature0, feature1, feature2, feature3):
   	"""
       Creates a tf.Example message ready to be written to a file.
       """
   	# Create a dictionary mapping the feature name to the tf.Example-compatible
   	# data type.
   	feature={
   		'feature0': _int64_feature(feature0),
   		'feature1': _int64_feature(feature1),
   		'feature2': _bytes_feature(feature2),
   		'feature3': _float_feature(feature3),
   	}
   
   	# Create a Features message using tf.train.Example.
   
   	example_proto=tf.train.Example(features=tf.train.Features(feature=feature))
   	return example_proto.SerializeToString()
   
   # This is an example observation from the dataset.
   
   example_observation = []
   
   serialized_example = serialize_example(False, 4, b'goat', 0.9876)
   print(serialized_example)
   example_proto = tf.train.Example.FromString(serialized_example)
   print(example_proto)
   

三、TFRecords文件的写入与读取

此次我们将官方的PASCAL VOC 2012分割数据集制作为TFRecords，以便用于训练语义分割网络（DeepLab-V3+）。官方数据下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar. 下面，我们将逐步介绍官方数据集以及如何制作【TFRecords】。

1. PASCAL VOC 2012文件结构

   +VOCtrainval_11-May-2012
     + VOCdevkit
        + VOC2012
          + Annotations
          + ImageSets
            +Action
            +Layout
            +Main
            +Segmentation
          + JPEGImages
          + SegmentationClass
          + SegmentationObject

   Annotations：存放的XML文件(17125个文件)，与JPEGImage文件夹的图片一一对应，主要记录了图片的基本信息，比如文件路径，来源，标注信息等，打开其中文件如下图所示，

   

   <annotation>
       <folder>VOC2012</folder>  # 图片的存放路径
       <filename>2007_000027.jpg</filename> # 图片名称
       <source>                  # 图片来源相关信息
           <database>The VOC2007 Database</database>
           <annotation>PASCAL VOC2007</annotation>
           <image>flickr</image>
       </source>
       <size>     # 图像尺寸
           <width>486</width>
           <height>500</height>
           <depth>3</depth> 
       </size>
       <segmented>0</segmented> # 是否有语义分割标注，0：表示没有，1：表示有
       <object>  # 检测的目标，如果有多个会有多个