tensorflow之generator的感悟

关于generator的一些调试感悟: 如果调用Model的fit功能指定的输入样本是generator，则以下参数必须指定：

1. x: generator生成器，yield出来结果必须是一个三元组(x,y,weight)，其中x是必须的
2. batch_size: 也是必须的，batch_zise的大小，模型是在这个粒度上进行梯度更新的
3. steps_per_epoch: 必须的,首先理解step：模型每step就会调用以下generator.next()，产出一个batch_size大小的训练样本供模型使用
4. epoch： 必须的，我们要遍历几次训练样本数据集

batch_size & steps_per_epoch & epochs之前的关系

假设训练数据集大小为600000，则一个epoch我们需要遍历完这600000条样本。但是由于我们使用的是generator来产出样本，这是一个无限循环，我们需要知道循环到哪里我们刚好遍历完一次样本，即600000条样本。
设我们只训练一个epoch, 并且batch_size=100000,也就是调用一次generator.next() 我们产出100000条样本，则遍历完一次训练集我们需要调用 next() 的次数是 600000/100000 = 6， 那么steps_per_epoch=6!
看明白了吗？ 在一个epoch内，全部训练样本的数据 number/batch_size=steps_per_epoch, Model.fit函数调用 next() 的粒度是step，generator每次产出的样本数目也应该是batch_size大小，这样才能兼容，才能确保在一个epoch内，完整遍历一次训练数据集，无遗漏、无重复！
至于epoch的数目，和batch_size、steps_per_poech无关