全梯度下降算法、随机梯度下降算法、小批量梯度下降算法、随机平均梯度下降算法、梯度下降算法总结

一、常见梯度下降算法

• 全梯度下降算法(Full gradient descent，FGD）
• 随机梯度下降算法（Stochastic gradient descent，SGD）
• 随机平均梯度下降算法（Stochastic average gradient descent，SAGD）
• 小批量梯度下降算法（Mini-batch gradient descent，MGD）
• 异：差别在于样本的使用方式不同
• 同：都是为了正确地调节权重向量，通过为每个权重计算一个梯度，从而更新权值，使目标函数尽可能最小化

二、全梯度下降算法（FGD）

• 计算训练集所有样本误差，对其求和再取平均值作为目标函数
• 权重向量沿其梯度相反的方向移动，从而使当前目标函数减少得最多
• 由于在执行每次更新时，需要在整个数据集上计算所有的梯度，所以FGD的速度会很慢，同时，无法处理超出内存容量限制的数据集
• FGD同样也不能在线更新模型，即在运行的过程中，不能增加新的样本
• 是在整个训练数据集上计算损失函数关于参数θ的梯度

三、随机梯度下降算法（SGD）

由于FGD每迭代更新一次权重都需要计算所有样本误差，而实际问题中经常有上亿的训练样本，故效率偏低，且容易陷入局部最优解，因此提出了随机梯度下降算法

其每轮计算的目标函数不再是全体样本误差，而仅是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值

此过程简单，高效，通常可以较好地避免更新迭代收敛到局部最优解，其迭代形式为

每次只使用一个样本迭代，若遇上噪声则容易陷入局部最优解

其中，表示一条训练样本的特征值，表示一条训练样本的标签值

四、小批量梯度下降算法（mini-bantch）

小批量梯度下降算法是FGD和SGD的折中方案，在一定程度上兼顾了以上两种方法的优点

• 每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FGD迭代更新权重
• 被抽出的小样本集所含样本点的个数称为batch_size，通常设置为2的幂次方，更有利于GPU加速处理
• 特别的
  • 若batch_size=1，则变成了SGD
  • 若batch_size=n，则变成了FGD，其迭代形式为

 

五、随机平均梯度下降算法（SAGD）

在SGD方法中，虽然避开了运算成本大的问题，但对于大数据训练而言，SGD效果常不尽如人意，因为每一轮梯度更新都完全与上一轮的数据和梯度无关

随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数

如此，每一轮更新仅需计算一个样本的梯度，计算成本等同于SGD，但收敛速度快得多

六、总结

• FGD方法由于它每轮更新都要使用全体数据集，故花费的时间成本最多，内存存储最大
• SAGD在训练初期表现不佳，优化速度较慢。这是因为我们常将初始梯度设为0，而SAGD每轮梯度更新都结合了上一轮梯度值
• 综合考虑迭代次数和运行时间，SGD表现性能都很好，能在训练初期快速摆脱初始梯度值，快速将平均损失函数降到很低。但要注意，在使用SGD方法时要慎重选择步长，否则容易错过最优解
• mini-batch结合了SGD的“胆大”和FGD的“心细”，它的表现也正好居于SGD和FGD二者之间。在目前的机器学习领域，mini-batch是使用最多的梯度下降算法，正是因为它避开了FGD运算效率低成本大和SGD收敛效果不稳定的缺点

七、梯度下降优化算法(拓展)

以下算法主要用于深度学习优化

• 动量法：其实动量法(SGD with monentum)就是SAGD的姐妹版，SAGD是对过去K次的梯度求平均值，SGD with monentum 是对过去所有的梯度求加权平均
• Nesterov加速梯度下降法：类似于一个智能球，在重新遇到斜率上升时候，能够知道减速
• Adagrad：让学习率使用参数，对于出现次数较少的特征，我们对其采用更大的学习率，对于出现次数较多的特征，我们对其采用较小的学习率
• Adadelta：Adadelta是Adagrad的一种扩展算法，以处理Adagrad学习速率单调递减的问题
• RMSProp：其结合了梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定（Non-Stationary）的目标函数情况下进行很好地收敛
• Adam：结合AdaGrad和RMSProp两种优化算法的优点，是一种自适应的学习率算法

 学习导航：http://xqnav.top/