pytorch | epoch, batch, iteration

Epoch：

训练整个数据集的次数。
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。（也就是说，所有训练样本在神经网络中都进行了一次正向传播 和一次反向传播 ）

然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。

Batch（批 / 一批样本）：

将整个训练样本分成若干个Batch。

Batch_Size（批大小）：

每批样本的大小。

Iteration（一次迭代）：

训练一个Batch就是一次Iteration（这个概念跟程序语言中的迭代器相似）。

举例

mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 Batch_Size = 100对模型进行训练。迭代30000次。

• 每个 Epoch 要训练的图片数量：60000 (训练集上的所有图像)
• 训练集具有的 Batch 个数：60000/100=600
• 每个 Epoch 需要完成的 Batch 个数：600
• 每个 Epoch 具有的 Iteration 个数：600（==batch，训练一次batch相当于迭代一次）
• 每个 Epoch 中发生模型权重更新的次数：600
• 训练 10 个Epoch后，模型权重更新的次数：600*10=6000
• 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000张图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
• 总共完成30000次迭代，相当于完成了30000/600 = 50 个Epoch

参考：https://www.jianshu.com/p/22c50ded4cf7