batch size 训练时间_batch_size是否越大越好？

当初随机梯度下降法和mini_batch梯度下降法的面世，是为了优化批量梯度下降法计算效率缓慢且对gpu显存要求较高的问题。那么，在显存容量支持的前提下，是否batch_size越大越好呢?

也不是的。较大的batch_size容易使模型收敛在局部最优点，而使用小batch甚至单个数据训练时，相当于人为加入噪声，使模型走出鞍点，在更大的范围内寻找收敛点。也有人指出，选用large_batch的泛化能力较差。

可以采用以下策略：

1. 当有足够算力时，选取batch size为32或更小一些。
2. 算力不够时，在效率和泛化性之间做trade-off，尽量选择更小的batch size。
3. 当模型训练到尾声，想更精细化地提高成绩（比如论文实验/比赛到最后），有一个有用的trick，就是设置batch size为1，即做纯SGD，慢慢把error磨低。

参考链接 https://www.zhihu.com/question/61607442/answer/440944387 及其他相关回答。