梯度下降法

梯度下降法可以用来求解最优化问题，对于凸函数，能求得全局最优解，非凸函数可能只是局部最优解。

主要步骤：

1.随机的选取迭代的初值，设置步长，步长一般比较小，步长过大可能错过最优解，步长过小，迭代速度比较慢，可能是局部最优解。

2.选取梯度下降最快的方向，更新下一个迭代值

3.当函数值没有明显变化或者两次迭代值没有明显变化的时候停止迭代

随机梯度下降法

每次随机选取下一步需要迭代的方向。

效率高

可能不是最优解

书上回答：

梯度下降法，是求解无约束最优化问题的一种常见方法，简单。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

梯度下降法是一种迭代算法。选取适当的初始值x0，不断迭代，更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使得函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值得目的。

随机梯度下降法：

仅用一个样本点来更新回归系数。

梯度下降法是一种监督学习算法

随机梯度下降法

拟牛顿法

BFGS等都是有监督学习算法