机器学习笔记:linear scaling learning rate (学习率 和batch size的关系)
在训练神经网络的过程中,随着batchsize的增大,处理相同数据量的速度会越来越快,但是达到相同精度所需要的epoch数量越来越多换句话说,使用相同的epoch数量时,大batchsize训练的模型与小batchsize训练的模型相比,验证准确率会减小——>提出了linearscalinglearningrate在mini-batchSGD训练时,增大batchsize不会改变梯度的期望,但是会