最优化--等式约束最优性条件

所谓的最优性条件就是最优解的性质。

我们通过最优性条件的研究,能够对于优化的步骤,以及迭代求解时的结束条件有很大帮助。

最优化问题常见的有无约束优化,等式约束优化,不等式约束优化。这里用两篇blog分别讨论等式约束优化与不等式约束最优化的最优性条件。


我们首先讨论等式约束的情况下,其最优解满足怎样的性质。


 三维空间:

以下以三维空间为特例,看看最优解有哪些性质。

 


如上图,X为局部最优解,那么其必在S1与S2的交线D(及可行域)上,并且目标函数与约束函数的 梯度 共面。如果不共面,那么f(x)梯度向可行域D上的投影不为零。于是沿着这个投影移动,可使得目标函数下降,也就不是最优解。

根据共面的条件,我们可以推出:      

                       

也就是三维空间的最优性条件。

 

等式约束一阶必要条件:

上述是三维空间上的特殊情况,对于等式约束的一般情况,我们可以通过微积分,来得到关于导函数的一些性质。下面直接写出其完整性质。

一阶必要条件:


上式为必要条件,不是充分条件。

 


具体解法:

我们可以定义如下的n+l元函数:


称为lagrange函数。也就是把目标函数与约束函数写在一起求解,并用向量的形式来表示。

上式分别对x与lamda求导为零求解后,即为可能极值点。

不过上述的点可能是鞍点,也可能是极值点,具体判断要用到如下的二阶充分条件。

*补充:我们使上面的拉格朗日乘子为0,可以求得可能极值点。不过如果采用序列迭代法,经证明,上面的函数没有最小值,也就是使用序列迭代法得不到解。

 


二阶充分条件:

在满足一阶必要条件的前提下,我们现在要判断所得的可能极值点到底是不是极值点,就要用到二阶充分判断条件:

若 函数关于x的Hesse矩阵在约束超曲面的切平面上正定,则x就是严格局部极小点。

 

Hesse矩阵的知识:

在数学中,海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,此函数如下:


如果f所有的二阶导数都存在,那么f的海森矩阵即:


其中 ,即


 

小结:等式最优化问题,把约束条件与目标函数写在一起,称为langrang函数,对X,lamda求导取零后,在通过二阶的hesse矩阵是否正定来进一步判断。


你可能感兴趣的:(mathematics,最优化,等式约束)