机器学习 | 梯度下降种类及对比

批量梯度下降法BGD

批量梯度下降法(Batch Gradient Descent,BGD)是梯度下降法最常用的形式,具体做法:在更新参数时使用所有的样本来进行更新。

\Theta i=\Theta i-\alpha \sum_{j=1}^{m}(h\Theta(X0^{j},X1^{j},...Xn^{j})-y_{j})Xi{^{j}}

求梯度的时候用了所有m个样本的梯度数据。BGD容易得到最优解,但由于每次考虑所有样本,速度很慢。

随机梯度下降法SGD

随机梯度下降法(Stochastic Gradient Descent,BGD)和批量梯度下降法原理类似,区别在与求梯度时没有用所有的m个样本的数据,而是仅仅采用一个样本j来求梯度。对应的更新公式是:

你可能感兴趣的:(#,机器学习算法原理)