理解mini-batch梯度下降法对loss的影响

在看计算机视觉面经:如果神经网络效果不好时,可以思考的角度——batch size是否合适?
核心思想:batch size太大 -> loss很快平稳,batch size太小 -> loss会震荡(需要理解mini-batch)

根据吴恩达深度学习笔记中的内容总结mini-batch梯度下降法的作用和原理

Batch 梯度下降与 mini-batch梯度下降

使用batch梯度下降法时,每次迭代你都需要遍历整个训练集,可以预期每次迭代成本都会下降,所以如果成本函数J是迭代次数的一个函数,它应该会随着每次迭代而减少,直至逐渐趋于平稳,如果J在某次迭代中增加了,那肯定出了问题,也许你的学习率太大。

使用mini-batch梯度下降法,每次迭代只需要遍历m(0~n)个训练集,如果你作出成本函数在整个过程中的图,则并不是每次迭代都是下降的,特别是在每次迭代中,你要处理的是X({t})和Y({t}),如果要作出成本函数J({t})的图,而J({t})只和X({t}),Y({t})有关,也就是每次迭代下你都在训练不同的样本集或者说训练不同的mini-batch,如果你要作出成本函数J的图,你很可能会看到这样的结果,走向朝下,但有更多的噪声,

所以如果你作出J^({t})的图,因为在训练mini-batch梯度下降法时,会经过多代,你可能会看到这样的曲线(就是上图中的不断变换的曲线)。

没有每次迭代都下降是不要紧的,但走势应该向下,噪声产生的原因在于也许X({1})和Y({1})是比较容易计算的mini-batch,因此成本会低一些。

不过也许出于偶然,X({2})和Y({2})是比较难运算的mini-batch,或许你需要一些残缺的样本,这样一来,成本会更高一些,所以才会出现这些摆动,因为你是在运行mini-batch梯度下降法作出成本函数图。
理解mini-batch梯度下降法对loss的影响_第1张图片

你需要决定的变量之一是mini-batch的大小,m就是训练集的大小,极端情况下:

如果mini-batch的大小等于m,其实就是batch梯度下降法,在这种极端情况下,你就有了mini-batch X({1})和Y({1}),并且该mini-batch等于整个训练集,所以把mini-batch大小设为m可以得到batch梯度下降法。

另一个极端情况,假设mini-batch大小为1,就有了新的算法,叫做随机梯度下降法.

每个样本都是独立的mini-batch,当你看第一个mini-batch,也就是X({1})和Y({1}),如果mini-batch大小为1,它就是你的第一个训练样本,这就是你的第一个训练样本。接着再看第二个mini-batch,也就是第二个训练样本,采取梯度下降步骤,然后是第三个训练样本,以此类推,一次只处理一个。
理解mini-batch梯度下降法对loss的影响_第2张图片
看在两种极端下成本函数的优化情况,蓝色为batch为m,紫色为batch为1。如果这是你想要最小化的成本函数的轮廓,最小值在那里,batch梯度下降法从某处开始,相对噪声低些,幅度也大一些,你可以继续找最小值。

相反,在随机梯度下降法中,从某一点开始,我们重新选取一个起始点,每次迭代,你只对一个样本进行梯度下降,大部分时候你向着全局最小值靠近,有时候你会远离最小值,因为那个样本恰好给你指的方向不对,因此随机梯度下降法是有很多噪声的,平均来看,它最终会靠近最小值,不过有时候也会方向错误,因为随机梯度下降法永远不会收敛,而是会一直在最小值附近波动,但它并不会在达到最小值并停留在此。

比较:
如果使用batch梯度下降法,mini-batch的大小为m,每个迭代需要处理大量训练样本,该算法的主要弊端在于特别是在训练样本数量巨大的时候,单次迭代耗时太长。如果训练样本不大,batch梯度下降法运行地很好。

如果使用随机梯度下降法,如果你只要处理一个样本,那这个方法很好,这样做没有问题,通过减小学习率,噪声会被改善或有所减小,但随机梯度下降法的一大缺点是,你会失去所有向量化带给你的加速,因为一次性只处理了一个训练样本,这样效率过于低下,所以实践中最好选择不大不小的mini-batch尺寸,实际上学习率达到最快。

理解mini-batch梯度下降法对loss的影响_第3张图片
用mini-batch梯度下降法(绿色曲线),我们从这里开始,一次迭代这样做,两次,三次,四次,它不会总朝向最小值靠近,但它比随机梯度下降要更持续地靠近最小值的方向,它也不一定在很小的范围内收敛或者波动,如果出现这个问题,可以慢慢减少学习率

该如何选取m值呢?

如果训练集较小,直接使用batch梯度下降法,样本集较小就没必要使用mini-batch梯度下降法,你可以快速处理整个训练集,所以使用batch梯度下降法也很好,这里的少是说小于2000个样本,这样比较适合使用batch梯度下降法。

不然,样本数目较大的话,一般的mini-batch大小为64到512,考虑到电脑内存设置和使用的方式,如果mini-batch大小是2的n次方,代码会运行地快一些,64就是2的6次方,以此类推,128是2的7次方,256是2的8次方,512是2的9次方。所以我经常把mini-batch大小设成2的次方。

最后需要注意的是在你的mini-batch中,要确保X({t})和Y({t})要符合CPU/GPU内存,取决于你的应用方向以及训练集的大小。如果你处理的mini-batch和CPU/GPU内存不相符,不管你用什么方法处理数据,你会注意到算法的表现急转直下变得惨不忍睹。

事实上mini-batch大小是另一个重要的变量,你需要做一个快速尝试,才能找到能够最有效地减少成本函数的那个,我一般会尝试几个不同的值,几个不同的2次方,然后看能否找到一个让梯度下降优化算法最高效的大小。

总结来自:吴恩达深度学习笔记(39)-更进一步理解mini-batch梯度下降法

你可能感兴趣的:(深度学习笔记)