深度学习中BATCH_SIZE的含义

深度学习中BATCH_SIZE的含义

在目标检测SSD算法代码中，在训练阶段遇见代码

BATCH_SIZE = 4
steps_per_epoch=num_train // BATCH_SIZE

即每一个epoch训练次数与BATCH_SIZE大小设置有关。因此如何设置BATCH_SIZE大小成为一个问题。

BATCH_SIZE的含义

BATCH_SIZE:即一次训练所抓取的数据样本数量；
BATCH_SIZE的大小影响训练速度和模型优化。同时按照以上代码可知，其大小同样影响每一epoch训练模型次数。

BATCH_SIZE带来的好处

最大的好处在于使得CPU或GPU满载运行，提高了训练的速度。
其次是使得梯度下降的方向更加准确。
因此为了弄懂BATCH_SIZE的优点，需要学习梯度下降的方法。

BATCH_SIZE大小的影响

若BATCH_SIZE=0;相当于直接抓取整个数据集，训练时间长，但梯度准确。但不适用于大样本训练，比如IMAGENET。只适用于小样本训练，但小样本训练一般会导致过拟合¹现象，因此不建议如此设置。
若BATCH_SIZE=1;梯度变化波动大，网络不容易收敛。
若BATCH_SIZE设置合适，梯度会变准确。
此时再增加BATCH_SIZE大小，梯度也不会变得更准确。
同时为了达到更高的训练网络精度，应该增大epoch，使训练时间变长。

BATCH_SIZE大小如何影响训练梯度

梯度的方差表示为
$$Var(g)=Var(\frac{1}{m}\sum _{i=1}^{m}g(x_i,y_i))=\frac{1}{m^2}Var(g(x_1,y_1)+g(x_2,y_2)+\cdot \cdot \cdot +g(x_m,y_m))$$
m即BATCH_SIZE设置大小，即增大BATCH_SIZE的大小可以使得梯度方差的大小减小。直接使梯度更加准确。

…未完待续

---

1. 训练数据过于单一，对未知的数据的预测效果较差。 ↩︎