Epoch, Batch, Iteration

• Epoch：训练所有数据集。（样本太大，分多个Batch训练）
  每个训练集的batch_size不一样，所以eopch的大小不确定。
• Batch（批 / 一批样本）：训练集中一小部分样本对模型权重进行一次反向传播的参数更新。
  batch_size（批大小）：1个batch包含的样本的数目，2的n次幂，常用的包括64,128,256。网络较小时选用256，较大时选用64。
• Iteration（一次迭代）：
  训练时，1个batch训练图像通过网络训练一次​（一次前向传播+一次后向传播），每迭代一次权重更新一次；
  测试时，1个batch测试图像通过网络一次​（一次前向传播）。
  训练一个Batch就是一次Iteration。iterations就是完成一次epoch所需的batch个数。