【深度学习】Mini-Batch梯度下降法

Mini-Batch梯度下降法

在开始Mini-Batch算法开始之前，请确保你已经掌握梯度下降的最优化算法。

在训练神经网络时，使用向量化是加速训练速度的一个重要手段，它可以避免使用显式的for循环，并且调用经过大量优化的矩阵计算函数库。但是当数量增加到一定级别的时候，比如说五百万、五千万或者更大，此时此刻即便是进行了向量化，其训练速度也是挺慢的。Mini-Batch最优化算法则可以加速这种情况下的训练过程。

字如其名，Mini-Batch梯度下降法就是将数据集划分为若干个更小的数据集（Mini-Batch），然后依次对小规模数据集进行处理。假设每一个子集中只有1000个数据样本，那么在总样本量为500万的时候，会被分为5000个子集。原数据集的特征部分为$x^{(1)},x^{(2)},x^{(3)}...x^{(1000)},x^{(1001)}....x^{(m)}$，现在被划分为:
$$\begin{gathered} X^{\{1\}}=x^{(1)},x^{(2)},x^{(3)}...x^{(1000)} \\ {X}^{\{2\}}=x^{(1001)},x^{(1002)},x^{(1003)}...x^{(2000)} \\ {X}^{\{3\}}=x^{(2001)},x^{(2002)},x^{(2003)}...x^{(3000)} \end{gathered}$$
其中$X^{\{i}\}$表示第i个Mini-Batch的样本集
同样地，标签集也被划为5000个子集，分别是
$$\begin{gathered} Y^{\{1\}}=y^{(1)},y^{(2)},y^{(3)}...y^{(1000)} \\ {Y}^{\{2\}}=y^{(1001)},y^{(1002)},y^{(1003)}...y^{(2000)} \\ {Y}^{\{3\}}=y^{(2001)},y^{(2002)},x^{(2003)}...x^{(3000)} \end{gathered}$$
其中$Y^{\{i}\}$表示第i个Mini-Batch的标签集

一个完整的Mini-Batch子集由标签子集和样本子集构成，第i个Mini-Batch子集等于$(X^{\{i\}},Y^{\{i\}})$
接下来说一下向量化表示，假设一个样本有n个特征，一个Mini-Batch有m个样本，那么他的KaTeX parse error: Expected 'EOF', got '}' at position 2: X}̲应该是一个m行n列的矩阵，他的Y是一个m行1列的矩阵

划分完自己之后，然后我们会单独处理各个Mini-Batch子集。比如说先前向传播，然后计算代价函数，根据代价函数反向传播求出梯度下降中的导数，然后使用梯度下降进行计算。就和一个神经网络差不多，不是吗？总的来说就是训练规模较大的神经网络的时候，我们应该将他们切分为若干个较小的子集，然后让各个子集独立地进行神经网路的训练，就是这样。

在传统的梯度下降中（左图），代价函数cost应该随着迭代的进行而逐渐下降；但是在Mini-Batch中就不一样了，他的cost函数会有一定的波动，但是整体应该是向下的（右图）

此外，需要我们个人决定的一个关键参数是Mini-Batch的大小，假设如果将一个数据集只划分为1个Mini-Batch，那么实际上他就是普通的梯度下降法，这是情况1；另一个极端是，一个Mini-Batch中只有一个样本，每个样本就是一个Mini-Batch，这种情况下的算法称之为随机梯度下降，这是情况2。

在情况1中，其实就是普通的梯度下降，他下降会十分“顺滑”，这是因为相对噪音比较小，但是对样本量大的情况来说，他将会相当耗时（蓝线）。而在情况2中，因为每个样本都是单独的Mini-Batch，大多数时候会朝着最小值前进，但是有一些样本是噪声样本，因此偶尔会指向错误的方向，因此这会使得其路线十分的九转十八弯（紫线）。而且他不会稳定收敛于一个点，而是在最小值的周围反复打转

上述的两个极端例子我们可以知道，当Mini-Batch子集设计的太大的时候，虽然噪声少，下降较为顺滑，但是会有较大的时间开销；反之，较小的子集会导致噪声较大，下降的精度不高，但是单次训练速度快，而且较小的子集也无法充分来自于向量化的训练加速，总训练时间反而不是最快的。在实际中，选择适中的子集大小能够保证一定的精度，也能提高速度，并且利用好向量化带来的加速，在此基础之上，根据自己的目标选择合适的子集大小，平衡好训练速度和精度问题