深度学习概念——Epoch, Batch, Iteration

定义

Epoch（时期）
所有训练样本在神经网络中都进行了一次正向传播和一次反向传播的过程，称为1个Epoch

Batch（批）
将训练样本分为若干个Batch

Batch_size（批大小）
每批样本的大小，即训练样本的大小除以Batch等于Batch_size
举个例子
需要鉴定100个苹果的好坏（这100个苹果就是训练样本），将其分成4批鉴定（这4批就是Batch等于4），那么每批鉴定25个苹果。（Batch_size=25）

Iteration（迭代）
训练一个Batch就是一次Iteration

示例

梯度下降的几种方式的根本区别就在于上面公式中的Batch_size不同

mnist 数据集有60,000张图片作为训练数据，10,000张图片作为测试数据。假设现在选择 Batch_Size =100 对模型进行训练。迭代30,000次。

每个 Epoch 要训练的图片数量：60,000(训练集上的所有图像)
训练集具有的 Batch 个数：60,000/100=600
每个 Epoch 需要完成的 Batch 个数：600
每个 Epoch 具有的 Iteration 个数：600（完成一个Batch训练，相当于参数迭代一次）
每个 Epoch 中发生模型权重更新的次数：600
训练 10 个Epoch后，模型权重更新的次数： 600*10=6,000
不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60,000张图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
总共完成30000次迭代，相当于完成了30,000/600=50个Epoch

Epoch数量多少合适？

在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。

那么，问题来了，几个epoch才是合适的呢？

不幸的是，这个问题并没有正确的答案。**对于不同的数据集，答案是不一样的。**但是数据的多样性会影响合适的epoch的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。

参考资料