TFRecord | 高效读写数据文件

文章目录

  • 1、tfrecord介绍
  • 2、tfrecord 使用方法
    • 2.1、.tfrecords文件保存格式
    • 2.2、生成.tfrecords文件的形式
    • 2.3、将单个样本数据封装到Example对象中
  • 3、写入.tfrecords文件
    • 3.1、读取.tfrecords文件
  • Reference:

读取数据我们一般做法有:

  • 1、直接全部加载到内存中。(如直接将数据np.save保存成一整个大的.npy文件,然后要用时,在直接np.load读数据)
  • 2、使用 queue / tf.data (更推荐这种方式) 读硬盘中的数据。

而在硬盘数据读取上,对于数据量比较大的情况,推荐采用tfrecord来读写数据,因为它非常高效。

1、tfrecord介绍

  • TRecord数据文件是一种将图像数据和标签统一存储的二进制文件,能更好的利用内存,在TensorFlow中快速的复制,移动,读取,存储等。Tensorflow 提供了丰富的 API 可以帮

你可能感兴趣的:(#,TFRecord教程,tfrecord,tensorflow,大数据,spark)