model.fit 无法输入生成器的数据

history = model.fit(x=next(batch_generator_X), y=[next(batch_generator_y), domain_labels], epochs=epochs, callbacks=callbacks)

对于Tensorflow2.0+Keras,使用Keras函数式API可以非常高效便捷地搭建网络,但是会丧失一些灵活性。比如输入训练数据,只能使用类似上面的代码。

我经过测试发现,无法像自定义的训练步骤,比如在

for epoch in range(epochs):
    ...# 自己的训练逻辑

无法一边进行一个epoch的训练,一边喂入新的训练数据batch.

即使用tf.data.dataset也无法实现,我后来又采用了python中的生成器,yield关键字,可是也不奏效。

model.fit()的逻辑是给定了数据之后,就不再重新取数据,这就导致必须一次把所有的训练数据都准备好(tf.data.dataset和numpy格式的数据都可以)。也造成了这种方式只适合于小型的数据集,因为大型的数据集会受到内存的限制。

你可能感兴趣的:(python)