epoch如何设置_最易懂的方式介绍 神经网络模型中的Epoch、Iteration、Batchsize

本文以最直白的方式介绍了神经网络中经常遇到的而且容易混淆的三个名词。一共1162个字，全部学习一遍大约需要6分钟。

batchsize：简单点说，就是我们一次要将多少个数据扔进模型去训练，这个值介于1和训练样本总个数之间。

batchsize太大或者太小都不好，如果该值太小，假设batchsize=1，每次用一个数据进行训练，如果数据总量很多时(假设有十万条数据)，就需要向模型投十万次数据，完整训练完一遍数据需要很长的时间，训练效率很低；如果该值太大，假设batchsize=100000，一次将十万条数据扔进模型，很可能会造成内存溢出，而无法正常进行训练。

所以，我们需要设置一个合适的batchsize值，在训练速度和内存容量之间寻找到最佳的平衡点。

几点经验：

相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致欠拟合。增大Batch_Size,相对处理速度会变快，同时所需内存容量增加。为了达到更好的训练效果，一般在Batchsize增加的同时，我们需要对所有样本的训练次数(也就是后面要讲的epoch)增加，以达到最好的结果。增加Batchsize的同时，一般会让所有样本的训练次数增加，这同样会导致耗时增加，因此需要寻找一个合适的Batchsize值，在模型总体效率和内存容量之间做到最好的平衡。

iteration：迭代的次数(向模型中扔数据的次数)

此处举一个例子一看就明白。假设一共有100个训练数据，batchsize设置为10，即一共有100个数据，一次向模型中扔10个数据进行训练，那一共要扔多少次才能将所有数据训练一遍呢？ 100/10=10 (次) ，也就是我们扔(迭代)十次就能将数据训练一遍了，此处的扔数据的次数(迭代次数)= iteration=10 。

注意：

每一次迭代得到的结果都会被作为下一次迭代的初始值。例如，上例中需要迭代十次，首先，所有的参数会有一个初始值，第一次迭代过后，模型中的参数会得到一批新值，这一批参数值就作为第二次迭代的输入，通过第二次迭代得到一批优化了一些的参数值，这些参数值将作为第三次迭代的输入……如此，通过一次次迭代，模型里的参数们一步步向最优的参数靠近……一个迭代= 同一批batchsize数据的一个正向通过+一个反向通过。

所有数据从左到右再到左为一个epoch

Epoch: 训练集中的全部样本都在训练模型中走了一遍，并返回一次(有去有回)，为一个epoch。

注意：

一般在神经网络中传递全部的数据集一次是不够的，我们需要将全部的数据集在同样的神经网络中传递多次，比如2万次，这个次数也需要训练，epoch的次数过多，容易造成过拟合，次数过少，容易使训练的参数达不到最优。

例如：训练样本10000条，batchsize设置为20，将所有的训练样本在同一个模型中训练5遍，则epoch=5,batchsize=20, iteration=10000/20=500