线搜索准则

目录

一，无约束可微优化问题的线搜索算法

二，单调线搜索准则

1，Armijo准则

2，Goldstein准则

3，Wolfe准则

三，非单调线搜索准则

1，Grippo准则

2，ZhangHager准则

四，收敛性分析

1，Zoutendijk定理

2，线搜索算法的收敛性

---

本文部分内容来自教材

一，无约束可微优化问题的线搜索算法

线搜索算法：

这一类算法可以理解为由2个部分组成：步长α、方向d

步长也叫学习率。

不合适的步长，要么导致无法收敛，要么导致收敛到非最优解。

线搜索准则就是，研究步长满足什么样的条件下，最终可以收敛到最优解。

线搜索算法可以分为单调线搜索算法、非单调线搜索算法，单调指的是是否每一步都比上一步更优、单调

相应的准则也分为单调线搜索准则、非单调线搜索准则。

二，单调线搜索准则

1，Armijo准则

α=0显然就满足Armijo准则，所以Armijo准则并不是充分条件。

Armijo准则一般不单独使用，而是作为其他准则的一部分。

2，Goldstein准则

3，Wolfe准则

三，非单调线搜索准则

1，Grippo准则

2，ZhangHager准则

四，收敛性分析

1，Zoutendijk定理

2，线搜索算法的收敛性