非精确一维线搜索（Armijo-Goldstein Rule 和 Wolfe-Powell Rule）

Armijo-Goldstein Rule

核心思想：

1. 目标函数值有足够下降；
2. 一维线搜索的步长不应该太小

算法步骤

• $Step1$：初始点 $\mu$ ，令${\mu }_{min}$ = 0，${\mu }_{max}$ = +$\infty$，$\rho \in (0,\frac{1}{2})$，计算$f(0)$，$f^{\prime }(0)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu$, 令${\mu }_{max}=\mu$，转$Step3$ ,
  如果$f(\mu )\ge f(0)+(1-\rho )f^{\prime }(0)\mu$ , 停止迭代，输出$\mu$ ,
  否则，令${\mu }_{min}=\mu$, 转$Step3$；

• $Step3$：如果${\mu }_{max}<+\infty ,令\mu ={\mu }_{min}+{\mu }_{max}$,转到$Step2$，
  否则，令$\mu =2\mu$, 转到$Step2$.

Wolfe-Powell Rule

核心思想：

• 利用梯度避免将极小值排除在可接受区间外。

算法步骤

• $Step1$：初始点$\mu ,令{\mu }_{min}=0,{\mu }_{max}=+\infty ,令f_{min}=f(0),f_{min}^{\prime }=f^{\prime }(0)$,
  $\rho (=0.1),\sigma (=0.4)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu ,令{\mu }_{max}=\mu ,转到Step3$,
  如果$f^{\prime }(\mu )\ge \sigma f^{\prime }(0),停止迭代，输出\mu$,
  否则，令${\mu }_{min}=\mu ，转到Step4$；

• $Step3$：$\hat{\mu }={\mu }_{min}+\frac{1}{2}\frac{\mu -{\mu }_{min}}{1+\frac{f_{min}-f(\mu )}{(\mu -{\mu }_{min})f_{min}^{\prime }}},\mu =\hat{\mu }，$
  计算$f(\mu ),f^{\prime }(\mu ),转到Step2$;

• $Step4$：$\hat{\mu }=\mu +\frac{\mu -{\mu }_{min}}{f_{min}^{\prime }-f^{\prime }(\mu )}{f}^{\prime }(\mu ),$
  计算$f_{min}=f(\mu ),f_{min}^{\prime }=f^{\prime }(\mu ),令\mu =\hat{\mu }$;
  计算$f(\mu ),f^{\prime }(\mu ),转到Step2$;

代码实现后续补充