深度学习基础篇之Batch_Size

1.Batch_size、epoch、iteration之间的关系?

2.为什么需要batch_size?

整个数据集训练的话,损失肯定是最稳定的,但是数据太大时内存显存大小无法满足要求,计算得到的梯度差别较大,无法找到一个全局的学习率满足所有的梯度的变化

3.如何选取batch_size?

对于小数据集而言,可以采用全数据集,训练稳定,都是整体的梯度下降方向,但是不同的梯度值差别较大,难以获得一个全局学习率大数据集,mini_batch

4.batch_size对于训练的影像?

当batch_size太小时,效果较差,当bs增大时,处理数据的速度变快,但是达到相同的精度需要更多的epoch。并且当bs达到一定时,会达到时间上的最优

5.为什么需要增大bs?

提高内存利用率,跑完一个epoch的时间减少,处理相同的数据量时速度更快(回想gv100跑模型时,bs越大单张图片时间相对而言越短),bs越大,损失的振荡越小

6.盲目增大bs的坏处?

显存爆炸、epoch需要增大、当bs达到一定值时,其梯度下降的方向已基本不再发生变化

你可能感兴趣的:(深度学习面经,深度学习)