最速下降法与梯度法的区别

这篇文章主要记录了最速下降法与梯度法的区别。2者的区别一个是步长，一个是方向。在步长这一块，个人理解，梯度下降的话，我们要手动设计参数，学习率。最速的话是通过精确直线搜索之类搜出的学习率。在方向这一块我不是太懂。梯度下降法仅考虑了泰勒一阶展开，最速下降法考虑到了二阶展开，所以对原函数空间具有更加的拟合效果，所以其效果更好。

步长（也叫做学习率）

梯度下降法，我们需要预先设定步长α。

方向

梯度下降法在机器学习中的应用

在机器学习中，我们通常会有一个损失函数L(β)，其中向量β=(β0,β1,⋯,βn)是模型中的参数，我们需要找到最优的β来最小化损失函数L(β)。所以说，模型的训练过程也就是寻找最优解的过程。

参考

梯度下降法和最速下降法的细微差别
【最优化】一文搞懂最速下降法