凸优化(五)——回溯直线搜索

〇、说明

凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。

如有错误疏漏，烦请指出。如要转载，请联系笔者，[email protected]。

一、意义

回溯直线搜索是求解无约束凸优化问题中，调整搜索步长非常简单有效的方法，也是实际应用中常用的方法。[2]

考虑固定步长搜索，为防止迭代震荡，一般步长值很小，很多经验值取0.01，这就导致收敛速度过慢。

考虑精确直线搜索，其本身又是一个优化问题，如果这个优化问题很复杂，则这个搜索方法就是没有意义的。

相比以上两种调整搜索步长的方法，回溯直线搜索则简单高效很多。

二、回溯直线搜索

2.1、算法

2.2、算法解释

2.3、参数解释

附录

A、参考

[1]、《凸优化》，Stephen Boyd等著，王书宁等译

[2]、《最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？》

[3]、《回溯线搜索 Backtracking line search》

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-08-08 第一次发布

2016-08-17 修改了一个错误公式，添加理解提醒