epoch, batch, iteration

一个epoch 指的是把所有训练数据丢进神经网络一次。

由于训练数据常常太大了，不能够一口吃掉一个胖子，得慢慢来，所以我们常常把训练数据分成好几等份，分完之后每份数据的数量就是 batch size，而几等份的这个几就是iteration。

总结一下，

epoch指的是次数，epoch = 10 指的是把整个数据集丢进神经网络训练10次。

batch size 指的是数据的个数，batch size = 10 指的是每次扔进神经网络训练的数据是10个。

iteration同样指的是次数，iteration = 10 指的是把整个数据集分成10次扔进神经网络。

Q： 如果你有100个训练数据，epoch = 10, batch size = 5, iteration = ?

A : iteration = 总共100 个数据/每次5个数据 = 20 次

也就是说，你要把100个数据集扔进神经网络训练10次，每次（每个epoch）你要把100个数据集分成20份，每份数据为5个（batch size=5），所以你需要投入20次（iteration）来完成一个epoch。

参考：  https://zhuanlan.zhihu.com/p/66021413