凸优化系列——无约束优化问题

 最小二乘问题:

 采用适当的方法可将约束优化问题转换为无约束优化问题;

最优解的定义： 

 无约束优化问题的最优性条件

需要说明的是，由于二阶梯度可以取0，我们由一元函数的知识可以知道，它是必要条件而非充分条件，当把等号去掉，就变为充分条件 

 证明：用反证法

 

充分条件 

        对于最优化问题的求解，其基本思路是，（1）首先找一个x_k，判断x_k是否为最优解；（2）如果x_k不是最优解，找下一个x_k 

 

 信赖域方法更像是线搜索方法反过来，即先确定步长的范围，再确定方向，比较复杂。

(基于线搜索的)下降算法基本思路 

 关键要素：终止条件、下降方向、步长

 

 

线搜索方法：  

当f(x)为简单函数时，我们可以通过表示为a的函数，通过梯度为0，求出a

 

 

 基于搜索区间的直接搜索法

        当f是复杂函数时，可以采取基于搜索区间的直接搜索法。首先初始化一个区间，然后在区间中选取两个点，根据函数值的大小缩小区间。很显然，这种方法只适用于单谷。

 均匀搜索法：

通过计算N-1个函数点的值将区间缩小为原来的2/N

 黄金区间法(0.618法)：

        黄金分割法第一次需要计算2个点的函数值，而对于第二次，其中一个点在第一次已经计算过（1-0.618）/0.618=0.618（换成（根5-1）/2也满足） ，只需要计算一个点的函数值

 

基于导数信息的二分法： 

 

非精确线搜索Inexact linear search