训练Epoch, Batch, Iteration

4.关于训练Epoch, Batch, Iteration。

名词	定义
Epoch	使用训练集的全部数据进行一次完整的训练，简称“一代训练”
Batch_size	使用数据集中指定小部分样本进行一次反向传播参更新，这小部分样本称为“一批数据”
Iteration	使用一个Batch中的数据进行一次参数更新的过程，简称“一次训练”

epoch：训练时，所有训练数据集都训练过一次。

batch_size：在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目，通常设为2的n次幂，常用的包括64,128,256。 网络较小时选用256，较大时选用64。

iteration​：训练时，1个batch训练图像通过网络训练一次​（一次前向传播+一次后向传播），每迭代一次权重更新一次；测试时，1个batch测试图像通过网络一次​（一次前向传播）。所谓iterations就是完成一次epoch所需的batch个数

公式为：
$$iteration=trainingsetsize/batchsize.$$

eg：
CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。