tf.data.Dataset读取数据详细文档
tf.data.Dataset
tf.data中包含了两个用于TensorFLow程序的接口:Dataset和Iterator
我们今天主要来看tf.data.Dataset
一 概念
首先Dataset表示一个元素的集合，你可以把它当作函数编程中的lazy list，其中元素是tensor tuple。
tf.data.Dataset经常用来读入数据，处理数据，调整batch，epoch等操作，那读取数据常常依赖Iterator接口，我的其他博客会讲。
二 读数据方式
1. 最简单常用的方式： tf.data.Dataset.from_tensor_slices
>>>1. 将tensor沿第一个维度切片， 返回一个含有N个样本的数据集
>>>2. 得到的数据集是一个类对象，具有“迭代器”等函数，方便遍历数据集中的样本
>>>3. 它需要将整个数据集整体传入，然后做切片处理，这样比较占内存
features, labels = (np.random.sample((100,2)), np.random.sample((100,1)))
dataset = tf.data.Dataset.from_tensor_slices((features,labels))
2. tf.data.Dataset.from_generator()
>>>1.tf.data.Dataset.from_generator(data_generator,output_data_type,output_data_shape).
>>>2. 参数data_generator需要自定去定义，每次yield一个样本
>>>3. 这种方式可以通过自定义的生成器不断传入样本数据，可以通过dataset.prefetch(buffer_size=1000)中的buffer_size限制放入内存的样本的个数
sequence = np.array([[1, 3], [2, 3], [3, 4]])
def generator():
for el in sequence:
yield el
dataset = tf.data.Dataset.from_generator(generator,
output_types=(tf.float32),
output_shapes=(tf.TensorShape([1])))
3. tf.data.TextLineDataset
class TextLineDatasetV1(dataset_ops.DatasetV1Adapter):
"""A `Dataset` comprising lines from one or more text files."""
利用这种方式可以读取一个或者多个文件的数据
例：
dataset = tf.data.TextLineDataset(["filename1.txt", "filename2.txt", "filename3.txt"])
4. tf.data.TFRecordDataset
class TFRecordDatasetV1(dataset_ops.DatasetV1Adapter):
"""A `Dataset` comprising records from one or more TFRecord files."""
利用这种方式可以读取一个或者多个tfrecord格式的文件
例：
dataset = tf.data.TFRecordDataset(["filename1.tfrecords", "filename2.tfrecords", "filename3.tfrecords"])
5. tf.data.Dataset.list_files
这种方式可以模糊匹配所有文件，来处理数据
例：
dataset = tf.data.Dataset.list_files("filefloder/*.txt")
三 数据处理
构建好dataset之后，tf.data.Dataset的这几类常用方法也需要注意一下
- batch()： 用一个整型数字作参数，描述的是batch的batch size
- repeat(): 用一个整型数字做参数，作用是对整个dataset的重复次数，如果没有参数，则是重复无限次
- shuffle(): 数据打乱
- map(): 用作对数据做预处理，参数是一个函数句柄，dataset的每一个元素都会经过这个函数到新的tensor代替原来的元素
- apply(): 用作对数据做预处理，对整个Dataset重新塑造一个Dataset
- filter(): 数据集过滤
有兴趣可以看我的专栏： 今天你面试了吗？