神经网络调优 --- batch_size

• batchsize和收敛速度/性能的关系

  1. 一般来说，在合理的范围之内，越大的 batch_size 使下降方向越准确，震荡越小；

  2. 小的 bath_size 引入的随机性更大，单次epoch耗时更久，且震荡大难以收敛，但大的batchsize容易收敛到sharp minimum，而小的batchsize收敛到flat minimum（相当于引入了更多噪声），后者具有更好的泛化能力

  3. 如果增加了学习率，那么batch size最好也跟着增加，这样收敛更稳定。

• 调参经验

  1. 当有足够算力时，选取batch size为32或更小一些，需要更长的训练耗时。
  2. 算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch size。
  3. 当模型训练到尾声，想更精细化地提高成绩（比如论文实验/比赛到最后），有一个有用的trick，就是设置batch size为1，即做纯SGD，慢慢把error磨低。
  

• 优化策略

  • 手工调参：由于上述两种因素的矛盾， batch_size 增大到某个适当值时候，达到时间和收敛精度的最优。
  • 自适应调整：如初始batch_size设置为512，随着训练epoch增加逐步减小batch_size，同时逐步衰减learning_rate