Epoch, Batch, Iteration 区别

Author:龙箬
Computer Application Technology
Change the World with Data and Artificial Intelligence !
CSDN@weixin_43975035
多数人因看见而相信，但少数人因相信而看见

Epoch: 所有训练样本训练一次过程（所有训练样本在神经网络中都进行了一次正向传播 和一次反向传播）
Batch: 将整个训练样本分成若干个Batch（批 / 一批样本）
Iteration: 一次Iteration即训练一个Batch。

总结：
epoch指的是次数，epoch = 100 指的是把整个数据集丢进神经网络训练100次。
batch size 指的是数据的个数，batch size = 100 指的是每次扔进神经网络训练的数据是100个。
iteration同样指的是次数，iteration = 100 指的是把整个数据集分成100次扔进神经网络。

举例如下：
Mnist 数据集（手写体数字识别）有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 Batch_Size = 200，对模型进行训练。迭代60000次。

每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
训练集具有的 Batch 个数：60000/200 = 300
每个 Epoch 需要完成的 Batch 个数：300
每个 Epoch 具有的 Iteration 个数：300（完成一个Batch训练，相当于参数迭代一次）
每个 Epoch 中发生模型权重更新的次数：300
训练 10 个Epoch后，模型权重更新的次数： 300*10=3000
不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
总共完成60000次迭代，相当于完成了个60000/300 = 200Epoch

如有侵权，请联系侵删
需要本实验源数据及代码的小伙伴请联系QQ:2225872659