L04_机器学习：批次(Batch)与动量(Momentum)
文章目录
- 机器学习：批次(Batch)与动量(Momentum)
-
- 回顾：使用Batch进行最优化
- Small Batch v.s. Large Batch
-
- Large Batch
- Small Batch
- 具体训练效果对比
-
- 更新时间对比
- 不同大小的batch训练出的模型的准确率对比
- 为什么小的Batch Size 会有比较好的结果？
- Small Batch在测试集上更好
-
- Small Batch更好的原因
- 将两种方法的优点相结合
- 动量(Momentum)
-
- 具体实现
-
- Gradient Descent回顾
- Gradient Descent + Momentum
机器学习：批次(Batch)与动量(Momentum)
回顾：使用Batch进行最优化
在实际的最优化过程中，我们将很多的数据分成好多份，每一份算出一个 L i L^{i} Li出来，然后使用它迭代计算 θ ∗ \mathbf{\theta}^{*} θ∗。具体过程如下图所示：
update \textbf{update} update：是使用一个 b a t c h batch batch中的数据训练出的 L L L迭代一次。
epoch \textbf{epoch} epoch：使用每一个 b a t c h batch batch迭代过一次 θ \mathbf{\theta} θ，每一个epoch之后会重新分配batch进行训练（Shuffle）。
Small Batch v.s. Large Batch
假设总共有20个数据。(N=20)
Large Batch
每一批的数据大小为20个，也就是说不分批次训练（Full Batch）。这样的话，每次更新都是使用所有数据进行更新参数，每一次更新耗费时间较长，但是走的方向比较稳健，更容易向准确的方向走。
Small Batch
每一批数据的大小为1个，也就是说分成20个Batch。更新次数比较多，每一个epoch会更新20次。但是这样每一次更新找到的更新方向不会太准确。
但是，如果考虑并行Large Batch花费的时间不一定比Small Batch 花费的时间长。
具体训练效果对比
更新时间对比
通过对比可以发现，在batch大小在1000以内时，每一次更新时间相差无几，但是，当batch相对较大的时候，每一个epoch的更新次数就会减少，因此一个epoch所耗费的时间更少。
不同大小的batch训练出的模型的准确率对比
可以发现，小的Batch Size在训练模型上有更好的表现。而大的Batch Size表现不好是因为最优化失败。"Noisy"的更新对训练模型有帮助。
为什么小的Batch Size 会有比较好的结果？
对于Full Batch，只有一个损失函数，很容易就会卡在critical point上，但是Small Batch每一次进行更新所使用的损失函数是不一样的，可能参数更新卡在了Batch1的损失函数上，但是Batch2的损失函数可能就可以继续进行更新。因此，Noisy的Gradient有帮助
Small Batch在测试集上更好
当解决了Large Batch最优化的问题，从实际案例中可以发现训练时Small Batch和Large Batch得到几乎一样的结果，但是测试阶段Small Batch表现的更好。
Small Batch更好的原因
具体的原因有待研究，但是现在有一种解释方法。
对于局部最小值也有好有坏，比如认为平原(Flat Minima)就要比峡谷(Sharp Minima)更好。如上图所示，假设测试损失函数相比于训练损失函数有一点小小的平移，那么对于平原来说影响并不是很大，但是对于峡谷来说，一个微小的移动就会使测试损失函数发生较大的变化。一般认为Small Batch更新的方向比较Noisy，不容易进入峡谷的狭口里边，而Large Batch更新方向比较稳定，很容易就会进入到峡谷里边。
将两种方法的优点相结合
经过对比可以发现，不同的Batch Size具有不同的优缺点，如下图所示：
现在有一些算法可以通过增加Batch Size来缩短训练时间，通过一些其他的方式解决Large Size出现的问题，从而提高训练模型的效率。
动量(Momentum)
有可能对抗一些Local Minima和Saddle Point，假设损失函数的曲线就是物理世界中的斜坡，而参数是一个移动的球，，把球从斜坡上滚下，如果动量够大就会有可能跳出一些Local Minima和Saddle Point。
具体实现
Gradient Descent回顾
每到一个位置，会计算这个位置的梯度 g g g，向梯度反方向前进一小段距离，然后重新计算梯度，并且以此循环，如下图所示：
Gradient Descent + Momentum
每一次的移动方向不仅仅为梯度反方向，还要加上上一步移动的方向，共同决定当前参数更新的方向。
m i m^{i} mi是先前所有梯度的加权和: g 0 , g 1 , … , g i − 1 g^{0},g^{1},\dots,g^{i-1} g0,g1,…,gi−1
m 0 = 0 m 1 = − η g 0 m 2 = − λ η g 0 − η g 1 ⋮ ⋮ m^{0}=0\\ m^{1}=-\eta g^{0}\\ m^{2}=-\lambda \eta g^{0}-\eta g^{1}\\ \vdots\\ \vdots m0=0m1=−ηg0m2=−ληg0−ηg1⋮⋮
文中图片均来自李宏毅老师机器学习（2021）课程