一个关于tf.data的简介

原视频地址在这儿:https://www.youtube.com/watch?v=uIcqeP7MFH0

视频中介绍了tf.data设计的一些原则和一些基本用法。设计的三个原则:

1. 快速高效

tf.data可以在每秒读取13000张图片,官网上有一页专门介绍输入数据pipeline的效率。输入输入的pipeline分为以下三步(ETL)

一个关于tf.data的简介_第1张图片

分别是从数据源头处读取数据(Extract)(比如内存,磁盘,远程服务器,云端)、对数据做一系列的变换(Transform)、载入CPU或者GPU(Load)等等,下面是一个例子,ETL分别代表这三个步骤:

一个关于tf.data的简介_第2张图片

小技巧

  1. 如果从云端或者多个来源读取数据,很显然并行读取可以提升读取效率,这个操作可以通过简单的num_parallel_reads参数来完成,如:tf.data.TFRecordDataset(files, num_parallel_reads=32)
  2. 利用contrib模块的一些函数,提高数据transform阶段的速度,这些函数可以将transform阶段的多个不同操作融合到一起来做,以提高运行效率,如:
dataset = dataset.apply(tf.contrib.data.shuffle_and_repeat(10000, NUM_EPOCHS))
dataset = dataset.apply(tf.contrib.data.map_and_batch(lambda x: ...., BATCH_SIZE))
  1. 利用GPU prefetch提前吧数据在使用前加载到GPU
dataset = dataset.apply(tf.contrib.data.prefetch_to_device('\gpu:0'))
  1. dataset中的数据可以通过生成迭代器来访问,如:
iterator = dataset.make_one_shot_iterator()
data = iterator.get_next()
  1. 如果对数据的效率要求比较高,或者数据集很大,建议使用TFRecord等数据类型读取数据

2. 灵活

  1. 通过dataset.map函数可以对每条数据做自定义的transform
  2. 有一个接口Dataset.from_generator()可以把原本已经写好的python的读取数据集的函数包在里面,得到Tensorflow的数据集。

3. 易用

  1. 在tf.enable_eager_execution()模式下,dataset可以被看做简单的python可迭代对象,通过for..in..来访问,并且这种模式依然是支持prefetch_to_device的
  2. 可以用一个函数打包上述所说的载入数据的三个步骤:
tf.contrib.data.make_batched_features_dataset(file_pattern, BATCH_SIZE, features, num_epochs=NUM_EPOCHS)
  1. tf.data和最新的高级API Estimator有着很好的兼容性,只要生成了数据,就可以直接灌数据而不需要任何的迭代器什么的。

关于tf.data的Example

一个关于tf.data的简介_第3张图片

 

参考网址:

  1. https://www.e-learn.cn/content/qita/792117
  2. https://zhuanlan.zhihu.com/p/37106443
  3. https://www.datalearner.com/blog/1051556350245210#6%E3%80%81%E4%BD%BF%E7%94%A8tqdm%E5%BE%AA%E7%8E%AF%E8%BE%93%E5%87%BA
  4. https://blog.csdn.net/tiangcs/article/details/85952007
  5. https://blog.csdn.net/u014061630/article/details/80728694
  6. https://zhuanlan.zhihu.com/p/30751039
  7. https://www.jianshu.com/p/d80ea5d73446
  8. https://www.tensorflow.org/guide/datasets?hl=zh-cn#consuming_text_data
  9. https://www.jianshu.com/p/baf1a933dd79
  10. https://blog.csdn.net/wangdongwei0/article/details/82991048
  11. https://www.jianshu.com/p/f580f4fc2ba0
  12. https://www.jianshu.com/p/d80ea5d73446
  13. https://blog.csdn.net/weixin_42499236/article/details/83933629
  14. https://blog.csdn.net/qq_37747262/article/details/81912438
  15. https://blog.csdn.net/ssmixi/article/details/80572813
  16. https://www.cnblogs.com/augustone/p/10520115.html
  17. https://blog.csdn.net/DumpDoctorWang/article/details/84028957#51_422
  18. http://www.enpeizhao.com/?p=514
  19. https://blog.csdn.net/Z609834342/article/details/83514498
  20. https://blog.csdn.net/qq_37747262/article/details/81912438
  21. https://github.com/FrancescoSaverioZuppichini/Tensorflow-Dataset-Tutorial/blob/master/.ipynb_checkpoints/dataset_tutorial-checkpoint.ipynb
  22. https://blog.csdn.net/loveliuzz/article/details/84398179#3.3%20%E5%9F%BA%E4%BA%8E%20tf.py_func%20%E4%BD%BF%E7%94%A8%20Python%20%E5%87%BD%E6%95%B0%E8%BF%9B%E8%A1%8C%E9%A2%84%E5%A4%84%E7%90%86%20%C2%B6
  23. https://blog.csdn.net/DumpDoctorWang/article/details/84028957

 

 

 

 

 

你可能感兴趣的:(TensorFlow,深度学习)