Tensorflow2.0: tf.Keras常用方法batch()、map()、shuffle()、repeat()
1、tf.data.Data.from_tensor_slices(data).batch(size)
将data数据进行切片，并在引用时按size大小输出迭代。
data = [[0,0,0,0,0],[1,1,1,1,1],[2,2,2,2,2]]
dataset = tf.data.Dataset.from_tensor_slices(data).batch(1)
for index,line in enumerate(dataset):
print(index," ",line)
print('------------------')输出为（tf.tensor)：
0 tf.Tensor([[0 0 0 0 0]], shape=(1, 5), dtype=int32)
------------------
1 tf.Tensor([[1 1 1 1 1]], shape=(1, 5), dtype=int32)
------------------
2 tf.Tensor([[2 2 2 2 2]], shape=(1, 5), dtype=int32)
------------------如果将batch参数改为2，则输出如下，数据不足时输出全部剩余
0 tf.Tensor(
[[0 0 0 0 0]
[1 1 1 1 1]], shape=(2, 5), dtype=int32)
------------------
1 tf.Tensor([[2 2 2 2 2]], shape=(1, 5), dtype=int32)
------------------（如果不加上batch打包，默认一个一个输出，所以size为1时没有意义）
1.1data数据为字典时
输入为字典时，输出按“key"值索引：
data = {"a":np.array([1.,2.,3.,4.,5.]),"b":np.random.random(size=(5,3))}
dataset = tf.data.Dataset.from_tensor_slices(data)
for index,line in enumerate(dataset):
print(index," ",line["a"],"****",line["b"])
print('------------------')输出为（tf.tensor)：
0 tf.Tensor(1.0, shape=(), dtype=float64) **** tf.Tensor([0.30519996 0.39658704 0.91462395], shape=(3,), dtype=float64)
------------------
1 tf.Tensor(2.0, shape=(), dtype=float64) **** tf.Tensor([0.3949131 0.37497861 0.58271534], shape=(3,), dtype=float64)
------------------
2 tf.Tensor(3.0, shape=(), dtype=float64) **** tf.Tensor([0.50861414 0.556261 0.22094466], shape=(3,), dtype=float64)
------------------
3 tf.Tensor(4.0, shape=(), dtype=float64) **** tf.Tensor([0.71673955 0.96458281 0.53815042], shape=(3,), dtype=float64)
------------------
4 tf.Tensor(5.0, shape=(), dtype=float64) **** tf.Tensor([0.93950987 0.87853242 0.05198704], shape=(3,), dtype=float64)
------------------1.2data数据为元组时
输入为元组时，按元组形式解包
data = ((np.array([1.,2.,3.,4.,5.]),(np.random.random(size=(5,3)))))
dataset = tf.data.Dataset.from_tensor_slices(data)
for xs,ys in dataset:
print(xs,"****",ys)
print('------------------')输出为（tf.tensor)：
tf.Tensor(1.0, shape=(), dtype=float64) **** tf.Tensor([0.65001678 0.09153465 0.06510237], shape=(3,), dtype=float64)
------------------
tf.Tensor(2.0, shape=(), dtype=float64) **** tf.Tensor([0.9090613 0.88832908 0.11876647], shape=(3,), dtype=float64)
------------------
tf.Tensor(3.0, shape=(), dtype=float64) **** tf.Tensor([0.44002558 0.06128562 0.11221942], shape=(3,), dtype=float64)
------------------
tf.Tensor(4.0, shape=(), dtype=float64) **** tf.Tensor([0.39922175 0.11770404 0.89398157], shape=(3,), dtype=float64)
------------------
tf.Tensor(5.0, shape=(), dtype=float64) **** tf.Tensor([0.82551231 0.02455912 0.03370511], shape=(3,), dtype=float64)
------------------2、map()、shuffle()、repeat()用法
2.1、map()
map用法与Python一样，接受一个函数对象参数，使用Dataset读取的每个数据都会被当成这个函数对象的参数，并进行计算输出，组成一个新的数据集。
def get_sum(dict):
feat = dict['feat']
label = dict['label']
sum = tf.reduce_mean(label)
return feat,sum
dataset = tf.data.Dataset.from_tensor_slices({
"feat":np.array([1.,2.,3.,4.,5.]),
"label":np.random.random(size=(5,3))})
dataset = dataset.map(get_sum)
for xs,ys in dataset:
print(xs,"****",ys)
print('------------------')输出为（tf.tensor):
tf.Tensor(1.0, shape=(), dtype=float64) **** tf.Tensor(0.4689615933870761, shape=(), dtype=float64)
------------------
tf.Tensor(2.0, shape=(), dtype=float64) **** tf.Tensor(0.31919237915828286, shape=(), dtype=float64)
------------------
tf.Tensor(3.0, shape=(), dtype=float64) **** tf.Tensor(0.5887782150986411, shape=(), dtype=float64)
------------------
tf.Tensor(4.0, shape=(), dtype=float64) **** tf.Tensor(0.46332159001270884, shape=(), dtype=float64)
------------------
tf.Tensor(5.0, shape=(), dtype=float64) **** tf.Tensor(0.7071242889720469, shape=(), dtype=float64)
------------------2.2、shuffle()
shuffle的作用是打乱数据集中的元素，它有一个参数buffer_size，表示打乱时使用的缓冲区大小。
dataset = tf.data.Dataset.from_tensor_slices({
"feat":np.array([1.,2.,3.,4.,5.]),
"label":np.random.random(size=(5,3))}).shuffle(buffer_size=100).batch(2)
for line in dataset:
print(line['feat'],"****",line['label'])
print('------------------')第一次输出为（tf.tensor):
tf.Tensor([4. 5.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.54950238 0.50334572 0.59974542]
[0.10169851 0.98936089 0.42366309]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([1. 2.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.52764501 0.40446342 0.39633686]
[0.6714302 0.03449827 0.99175639]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([3.], shape=(1,), dtype=float64) **** tf.Tensor([[0.62605223 0.9765801 0.11661118]], shape=(1, 3), dtype=float64)
------------------再运行一次，输出为（tf.tensor):
tf.Tensor([5. 4.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.24737827 0.99113837 0.78126015]
[0.29884487 0.12049342 0.8041113 ]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([3. 1.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.29074631 0.18683898 0.11682108]
[0.97275326 0.15158869 0.29526389]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([2.], shape=(1,), dtype=float64) **** tf.Tensor([[0.03444436 0.8773693 0.81584051]], shape=(1, 3), dtype=float64)
------------------
两次输出结果并不相同。缓冲区大小表示打乱时的数据容量，打乱之后，再从中取batch(2)个数据。
2.3、repeat()
repeat将数据集重复若干次。
dataset = tf.data.Dataset.from_tensor_slices({
"feat":np.array([1.,2.,3.,4.,5.]),
"label":np.random.random(size=(5,3))})
dataset = dataset.repeat(2).shuffle(buffer_size=100).batch(2)
for line in dataset:
print(line['feat'],"****",line['label'])
print('------------------')输出为（tf.tensor):
tf.Tensor([4. 4.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.7149274 0.83963519 0.20180617]
[0.7149274 0.83963519 0.20180617]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([3. 1.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.81400672 0.9411397 0.11000945]
[0.48605118 0.30965208 0.4316607 ]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([1. 3.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.48605118 0.30965208 0.4316607 ]
[0.81400672 0.9411397 0.11000945]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([5. 2.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.54118115 0.27571944 0.31600973]
[0.88704058 0.94115315 0.52538436]], shape=(2, 3), dtype=float64)
------------------
tf.Tensor([2. 5.], shape=(2,), dtype=float64) **** tf.Tensor(
[[0.88704058 0.94115315 0.52538436]
[0.54118115 0.27571944 0.31600973]], shape=(2, 3), dtype=float64)
------------------