深度学习实战：Batch Size 设置

在最近的深度学习的实（tiao）战（can）过程中发现，Batch Size对于收敛的影响还是挺大的，经查阅资料（详情->

https://www.zhihu.com/question/32673260/answer/71137399 ），现整理总结如下：

1. 随着batch size的增加，相同数据量的处理速度增加，所需时间减少（不超过内存容量的情况下）。

2. 随着batch size的增加，训练一个epoch数据的迭代次数减少，想要达到相同的训练精度所需的epoch会增加（也就意味着时间增加）。

3.基于以上两点，调整batch size实际上就是在“减少相同数据量训练时间”和“达到相同精度所需epoch增加”这两个矛盾方做博弈，以达到“以尽可能快的速度训练得到某个训练精度”。

4.随着batch size的增加，最终收敛到的局部极值不同，最终训练精度（准确率）会先增加后减小，达到一个最优值。