机器学习训练算法六(最速下降法)

1、介绍

最速下降法和梯度下降法基本相同,就是选择该点梯度的反方向进行搜索；区别在于，梯度下降法需要预先根据经验设定公式 20 的步长$\eta$的值，而最速下降法则是在求出梯度方向后再搜索得到最优步长${\eta }_k$：

2、数学原理

将公式 20 的结果代入公式 10 可推得:
$$K(\eta )\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}F(X_k-\eta \times \underset{F}{J(X_k)})(公式21)$$
公式21最优步长因子${\eta }_k$是当函数$K(\eta )$取得最小值的时候，自变量$\eta$的取值：
$${\eta }_k\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}arg\underset{\eta \in R}{\min }K(\eta )(公式22)$$
由公式 20 和公式 22 可推得目标函数$F(X)$的最优化迭代公式：
$$X_{k+1}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{X}_k-{\eta }_k\times \underset{F}{J(X_k)}(公式23)$$

3、Matlab程序

链接地址