BGD、SGD以及MBGD

三种梯度下降的方法用于更新参数，也就是当前参数等于上一时刻参数减去学习率乘以梯度。
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
三种方法的不同体现在计算$\frac{\partial }{\partial {\theta }_j}J(\theta )$的不同上

假设损失函数为二次函数，那么参数${\theta }_j$的更新公式为
$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2}{\left(h_{\theta }(x)-y\right)}^2\\ & =2\cdot \frac{1}{2}\left(h_{\theta }(x)-y\right)\cdot \frac{\partial }{\partial {\theta }_j}\left(h_{\theta }(x)-y\right)\\ & =\left(h_{\theta }(x)-y\right)\cdot \frac{\partial }{\partial {\theta }_j}\left(\sum _{i=0}^n{\theta }_i{x}_i-y\right)\\ & =\left(h_{\theta }(x)-y\right)x_j\end{array}$$

BGD (批梯度下降算法 Batch Gradient Descent）

计算梯度时候用所有的数据来计算，但是要取平均（不平均就没有意义了）
$$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}\sum _{i=1}^m\left(y^i-h_{\theta }\left(x^i\right)\right)x_j^i$$
好处在于收敛次数少，坏处就是每次迭代需要用到所有数据，占用内存大耗时大。
收敛图如下，可以看到收敛的比较快

SGD（随机梯度下降法Stochastic Gradient Descent）

每次只用一个样本求梯度，

优点是速度快，缺点是可能陷入局部最优，搜索起来比较盲目，并不是每次都朝着最优的方向（因为单个样本可能噪音比较多）

MBGD(小批量梯度下降法Mini-batch Gradient Descent)

SGD和BGD是两个极端， 而MBGD是两种方法的折衷，每次选择一批数据来求梯度。
该方法也容易陷入局部最优
现在说SGD一般都指MBGD

参考资料

https://zhuanlan.zhihu.com/p/22252270
https://zhuanlan.zhihu.com/p/25765735