统计机器学习-梯度下降法

假设是上具有一阶连续偏导数的函数，要求解的无约束最优化问题是

表示目标函数的极小点。由于负梯度方向是使函数数值下降最快的方向，所以梯度下降法在迭代的每一步，以负梯度方向更新的值，从而达到减少函数值的目的。

当目标函数是凸函数时，梯度下降法的解是全局最优解。一般情况下，其解不保证是全局最优解。梯度下降法的收敛速度也未必是很快的。

算法

输入：目标函数，梯度函数，计算精度；

输出：的极小点。

1. 取初始值，置
2. 计算
3. 计算梯度，当时，停止迭代，令；否则，令，通过一维搜索，使

4. 置，计算

   当或时，停止迭代，令

5. 否则，置，转