Tensorflow的DataSet的使用

Dataset类是TensorFlow非常流行的存储数据的格式。常用来作为输入输出。data模块主要的用途就是通过这种方法创建Dataset。

Dataset使用过程中的一些心得：

1. 经常将自变量X数据以及target数据以元组的形式包裹，如db_train=tf.data.Dataset.from_tensor_slices((x_train,y_train))，创建Dataset。模型的fit()方法可以自动的解包。

2. Dataset能够包括比较灵活的类型，比如db_train=tf.data.Dataset.from_tensor_slices(({"features":features_train,"biomass_start":biomass_start_trarin},y_train))。因为数据最外部依然是最外部包裹，所以model的fit()依然可以自动的对x以及target解包。但由于dataset保存component是以原始数据的形式保存的。所以，fit()里的inputs一般是这个样子：

   {'features': <tf.Tensor 'my_rnn/Cast_1:0' shape=(None, 5, 4) dtype=float32>, 'biomass_start': <tf.Tensor 'my_rnn/Cast:0' shape=(None, 1) dtype=float32>}
   

   对于字典内部部分，需要手动的自己解包。这样的好处是，给我们自定义模型的结构提供的很大的遍历，输入一部分导入A网络，一部分导入不同的B网络。

3. Dataset作为模型的输入，需要设定batch()。而不在模型内设定batch。更加方便。然而Dataset作为迭代器，迭代完成后再次迭代数据，生成数据的前后数据是不一样的。需要注意。

4. batch的drop_remainder=True参数比较重要，只有设定为True，input接下来的层还能正确的识别shape

Dataset的常用属性

1. Dataset.element_spec

   这个属性可以检测每一个元素中的component的类型。返回的是一个tf.TypeSpec对象。这个对象的结构跟元素的结构是一致的。

   dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))
   
   dataset1.element_spec
   #TensorSpec(shape=(10,), dtype=tf.float32, name=None)
   dataset2 = tf.data.Dataset.from_tensor_slices(
      (tf.random.uniform([4]),
       tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
   
   dataset2.element_spec
   # 标量和向量
   # (TensorSpec(shape=(), dtype=tf.float32, name=None),
   #TensorSpec(shape=(100,), dtype=tf.int32, name=None))
   dataset = tf.data.Dataset.from_tensor_slices(([1, 2], [3, 4], [5, 6]))
   dataset.element_spec 
   #(TensorSpec(shape=(), dtype=tf.int32, name=None),
   # TensorSpec(shape=(), dtype=tf.int32, name=None),
   # TensorSpec(shape=(), dtype=tf.int32, name=None))
   
   # 注意这里是字典类型
   dataset = tf.data.Dataset.from_tensor_slices({"a": [1, 2], "b": [3, 4]})
   dataset.element_spec
   #{'a': TensorSpec(shape=(), dtype=tf.int32, name=None),
   # 'b': TensorSpec(shape=(), dtype=tf.int32, name=None)}
   

Dataset的常用方法

1. apply方法

   对dataset进行转换。

   dataset = tf.data.Dataset.range(100)
   def dataset_fn(ds):
     return ds.filter(lambda x: x < 5)
   dataset = dataset.apply(dataset_fn)
   list(dataset.as_numpy_iterator())
   

2. as_numpy_iterator

   dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
   for element in dataset.as_numpy_iterator():
     print(element)
   

   这个在dataset比较常用。就是将dataset变成迭代器，将所有元素都变成numy对象输出

3. shuffle

   shuffle(
       buffer_size, seed=None, reshuffle_each_iteration=None, name=None
   )
   

   参数：

   • buffer_size：缓冲区大小
   • seed：随机种子
   • reshuffle_each_iteration：bool. 如果为真，表示每次迭代时数据集完成后都应该是进行伪随机重新洗牌的。控制每个epoch的洗牌顺序是否不同。

   这个方法用来随机打乱数据集的元素顺序。数据集用buffer_size元素填充一个缓冲区，然后从这个缓冲区随机取样元素，用新元素替换选中的元素。例如，如果您的数据集包含10,000个元素，但是buffer_size被设置为1,000，那么shuffle将首先从缓冲区中的前1,000个元素中选择一个随机元素。一旦一个元素被选中，它在缓冲区中的空间就会被下一个(比如第1001个)元素替换，从而保持这个1,000元素缓冲区。为了实现完美的洗牌，需要一个大于或等于数据集完整大小的缓冲区。

   dataset = tf.data.Dataset.range(3)
   # 每个每个epoch重新洗牌
   dataset = dataset.shuffle(3, reshuffle_each_iteration=True)
   list(dataset.as_numpy_iterator())
   # [1, 0, 2]
   list(dataset.as_numpy_iterator())
   # [1, 2, 0]
   dataset = tf.data.Dataset.range(3)
   # 每个每个epoch不重新洗牌
   dataset = dataset.shuffle(3, reshuffle_each_iteration=False)
   list(dataset.as_numpy_iterator())
   # [1, 0, 2]
   list(dataset.as_numpy_iterator())
   # [1, 0, 2]
   

4. batch

   batch(
       batch_size,
       drop_remainder=False,
       num_parallel_calls=None,
       deterministic=None,
       name=None
   )
   

   参数:

   • batch_size: 批处理大小
   • drop_remainder：是否删除最后一个短batch。==这个比较重要，只有设定为Ture，model才能正确的判断其输入的shape。==这也比较合理，指定为Falsel，因为谁也不知道后面是不是有一个比较短的batch，只有第一维是None，才能提高程序的稳定性。
   • num_parallel_calls：并行计算的数量。不指定会顺序执行。如果有 tf.data.AUTOTUNE，会自动动态的制定这个值。
   • deterministic：bool. 指定了num_parallel_calls，才有效。如果设置为False，则允许转换产生无序元素，以牺牲确定性来换取性能。如果不指定，tf.data.Options.deterministic控制这个行为（默认为True）
   • name: 标识符

   这个方法经常使用，将dataset进行批处理化。因为数据集比较大的时候，一下子完全进行训练占用大量的内存。所以用分批处理。输出的元素增加了一个额外的维度，就是batch维，shape是batch的size.
   batch支持一个drop_remainder=True关键字，为真意味着，最后一个batch的size如果小于我们指定值，就会被舍弃。

   之所以要删掉最后一个短的batch，是因为如果我们的项目依赖这个batch的size，那最后一个batch不等长，可能会出错。

   import tensorflow as tf
   from tensorflow.python.data import Dataset
   
   dataset = tf.data.Dataset.range(8)
   dataset = dataset.batch(3)
   print(list(dataset.as_numpy_iterator()))
   # 通过这个看到这个elem也已经是分批了
   for elem in dataset:
       print(elem)
   
   # tf.Tensor([0 1 2], shape=(3,), dtype=int64)
   # tf.Tensor([3 4 5], shape=(3,), dtype=int64)
   # tf.Tensor([6 7], shape=(2,), dtype=int64)
   
   for elem in dataset.as_numpy_iterator():
       print(elem)
   
   # [0 1 2]
   # [3 4 5]
   # [6 7]
   dataset = tf.data.Dataset.range(8)
   # drop_remainder舍掉最后一个长度不够的batch
   dataset = dataset.batch(3, drop_remainder=True)
   list(dataset.as_numpy_iterator())
   

   一般情况下，shuffle跟batch是连续使用的，实现随机读取并批量处理数据：dataset.shuffle(buffer_size).batch(batchsize)

   不能对已经batch的dataset进行连续的batch操作，其batchsize不会改变，而是生成了新的异常数据

5. unbatch

   unbatch(
       name=None
   )
   

   这里是将Batchdataset这样的dataset分割为一个个元素，元素的格式跟定义时的格式是一样的。而且，这里固定的是对第1个维度进行split操作，且生成shape[0]个元素。

6. reduce方法

   reduce(
       initial_state, reduce_func, name=None
   )
   

   将输入数据集简化为一个元素。 reduce_func作用于dataset中每一个元素，输出其dataset的聚合信息。

   参数initial_state代表进行reduce之前的初始状态。reduce_func要接收old_state, input_element两个参数，然后生成新的状态newstate。old_state和new_state的结构要一致。

   dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
   print(dataset.reduce(0, lambda state, value: state + value).numpy())
   # 22
   

dataset不支持tf.split属性，也不能直接把dataset给切分为训练集和测试集。