Batch_size如何设置

定义：一次性读入多少批量的图片，不是样本。

Full Batch Learning：Batch_size=数据集大小，适用于小数据集。
Mini-batches Learning：Batch_size= N（自己设定），适用于大数据集。
Online Learning（在线学习）：Batch_size=1，

如何选择Batch_size？

A：一定范围内增大Batch_size：

1、 提高了内存的利用率，大矩阵乘法的并行化效率提高
2、 跑完一次epoch所需要的迭代次数减少，相同数据量的数据处理速度加快。
3、 Batch_size越大下降方向越准，引起的训练震荡越小。
4、 缺点：内存溢出、训练时间增加、收敛缓慢、局部最优，泛化性差
          B：Batch_size过小：修正方向以各自样本的梯度方向修正难以达到收敛。

总结：

     首先根据显存大小选择Batch_size；其次根据自己的实际情况调整Batch_size，调参重在“调”，根据实际情况选择合适的参数。设置好Batch_size后，每一次epoch记得shuffle一次，不要让网络通过相同的minibach。