[机器学习]：梯度下降法 BGD、SGD、MBGD

[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD，这篇博客讲的很好。

在应用机器学习算法时，通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。

1. 批量梯度下降法BGD
   批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新。
   优点：全局最优解；易于并行实现；
   缺点：当样本数目很多时，训练过程会很慢。
2. 随机梯度下降法SGD
   由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法（Stochastic Gradient Descent，简称SGD）正是为了解决批量梯度下降法这一弊端而提出的。
   优点：训练速度快；
   缺点：准确度下降，并不是全局最优；不易于并行实现。
3. 小批量梯度下降法MBGD
   算法的训练过程比较快，而且也要保证最终参数训练的准确率，而这正是小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD）。