TensorFlow batch_size、iteration、epoch概念理解

梯度下降法可分为：

1、批量梯度下降：遍历全部数据集算一次损失函数，计算量大，计算速度慢，不支持在线学习。

2、随机梯度下降（stochastic gradient descent）：每处理一个数据就算一次损失函数，该方法速度快，但是收敛性不好，可能在最优点附近晃来晃去，命中不到最优点。

3、小批量梯度下降：以上两种方法的折中方法，该方法把数据分为若干批，按批来更新参数。

 

在深度学习中，一般采用小批量梯度下降法进行训练，即每次训练在训练集中取batch_size个样本训练；

概念1、batch_size：批大小。

概念2、iteration：1个iteration等于使用batch_size个样本训练一次。

概念3、epoch：1个epoch等于使用训练集中的全部样本训练一次。

举例，训练集有1000个样本，batchsize=10，那么，训练完整个样本集需要：100次iteration，1次epoch。

一次epoch 总处理数量 = iterations次数 * batch_size大小