深度学习基础篇之Batch_Size

1.Batch_size、epoch、iteration之间的关系？

2.为什么需要batch_size？

整个数据集训练的话，损失肯定是最稳定的，但是数据太大时内存显存大小无法满足要求，计算得到的梯度差别较大，无法找到一个全局的学习率满足所有的梯度的变化

3.如何选取batch_size？

对于小数据集而言，可以采用全数据集，训练稳定，都是整体的梯度下降方向，但是不同的梯度值差别较大，难以获得一个全局学习率大数据集，mini_batch

4.batch_size对于训练的影像？

当batch_size太小时，效果较差，当bs增大时,处理数据的速度变快，但是达到相同的精度需要更多的epoch。并且当bs达到一定时，会达到时间上的最优

5.为什么需要增大bs？

提高内存利用率，跑完一个epoch的时间减少，处理相同的数据量时速度更快(回想gv100跑模型时，bs越大单张图片时间相对而言越短)，bs越大，损失的振荡越小

6.盲目增大bs的坏处？

显存爆炸、epoch需要增大、当bs达到一定值时，其梯度下降的方向已基本不再发生变化