约束优化方法

约束优化方法

• 无约束优化
• 等式约束的最优性条件
• 不等式约束问题的最优性条件
• 一般约束问题的最优性条件

无约束优化 $x\in {\mathbb{R}}^N$
$$\underset{x}{\min }f(x)$$ 有函数解析式时，由Fermat定理，对函数求导令其导数为零,即 ${\nabla }_{x}f(x)=0$
无函数解析式时，可以通过梯度下降法，牛顿法等迭代方法使沿着负梯度方向下降逐步逼近极小点.

1 \quad 等式约束的最优性条件

$$\min f(x)(1)$$$$\text{ s.t. }{h}_i(x)=0,i=1,2,\cdots ,l$$
定理1-1 (拉格朗日定理（KKT条件))假设$x^{\ast }$是问题$(1)$的局部极小点， $f(x)$和 $h_i(x^{\ast })(i=1,2,\dots ,l)$在$x^{\ast }$的某邻域内连续可微。若向量组$\nabla h_i\left(x^{\ast }\right)(i=1,2,\dots ,l)$线性无关，则存在乘子向量${\lambda }^{\ast }={\left({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_l^{\ast }\right)}^T$，使得$${\nabla }_{x}L\left(x^{\ast },{\lambda }^{\ast }\right)=0$$即$$\nabla f\left(x^{\ast }\right)-\sum _{i=1}^l{\lambda }_i^{\ast }\nabla h_i\left(x^{\ast }\right)=0$$定理1-2    \; 对于等式约束问题$(1)$，假设$f(x)$和$h_i(x)(i=1,2,\dots ,l)$都是二阶连续可微的，并且存在$\left(x^{\ast },{\lambda }^{\ast }\right)\in {\mathbb{R}}^n\times {\mathbb{R}}^l$，使得$\nabla L\left(x^{\ast },{\lambda }^{\ast }\right)=0$。若对任意的$0̸=d\in {\mathbb{R}}^n,\nabla h_i{\left(x^{\ast }\right)}^{T}d=0(i=1,2,\dots ,l)$，,均有$d^T{\nabla }_{xx}^{2}L\left(x^{\ast },{\lambda }^{\ast }\right)d>0$ 则$x^{\ast }$是问题$(1)$的一个严格局部极小点.

2 \quad 不等式约束问题的最优性条件

$$\min f(x)(2)$$$$\text{ s.t. }{g}_i(x)\ge 0,i=1,2,\cdots ,m$$ 记可行域为$\mathcal{D}=\left\{x\in {\mathbb{R}}^n|g_i(x)\ge 0,i=1,2,\cdots ,n\right\}$ ，指标集 $I=\{1,\cdots ,m\}$
不等式约束问题的最优性条件需要用到有效约束和非有效约束的概念。对于一个可行点$\overline{x}$，即$\overline{x}\in \mathcal{D}$，此时可能会出现两种情形。即有效约束函数满足$g_i(\overline{x})=0$，而另一些约束函数满足$g_i(\overline{x})>0$，对于后一种情形，在$\overline{x}$的某一个领域内仍然保持$g_i(\overline{x})>0$成立，而前者不具备这种性质，因此有必要把这两种情形区分开来.

定义1    \; 若问题$(1)$的一个可行点$\overline{x}\in \mathcal{D}$使得
$g_i(\overline{x})=0$，则称不等式约束$g_i(x)\ge 0$为$\overline{x}$有效约束，反之若有$g_i(\overline{x})>0$，则称不等式约束为$g_i(x)>0$的非有效约束。称集合
$$I(\overline{x})=\left\{i:g_i(\overline{x})=0\right\}$$为$\overline{x}$处的有效约束指标集，简称处的有效集(或积极集)
以下两个引理是研究不等式约束问题最优性条件的基础
引理1 (Farkas引理)    \; 设 $a,b_i\in {\mathbb{R}}^n(i=1,2,\dots ,r)$，则线性不等式组
$$b_i^{T}d\ge 0,i=1,\cdots ,r,d\in {\mathbb{R}}^n$$与不等式$$a^{T}d\ge 0$$

相容的充要条件是存在非负实数${\alpha }_1,\cdots ,{\alpha }_r$，使得
$$a=\sum _{i=1}^r{\alpha }_i{b}_i$$
Gordon引理可以认为是Farkas引理的一个推论
引理2 (Gordan引理)    \; 设$b_i\in {\mathbb{R}}^n(i=1,\cdots ,r)$，线性不等式组
$$b_i^{T}d\ge 0,i=1,\cdots ,r,d\in {\mathbb{R}}^n$$无解的充要条件是$b_i(i=1,\cdots ,r)$线性相关，即存在不全为0的非负实数${\alpha }_i(i=1,\cdots ,r)$，使得$$\sum _{i=1}^r{\alpha }_i{b}_i=0$$
下面的引理可认为是一个几何最优性条件
引理3    \; 设$x^{\ast }$是不等式约束问题$(2)$的一个局部极小点,. 假设$f(x)$和$g_i(x)\left(i\in I\left(x^{\ast }\right)\right)$在处 $x^{\ast }$可微, 且$g_i(x)\left(i\in I\backslash I\left(x^{\ast }\right)\right)$在$x^{\ast }$处连续. 则问题$(2)$的可行方向集$\mathcal{F}$与下降方向集$\mathcal{S}$的交集是空集, 即 $\mathcal{F}\cap \mathcal{S}=\varnothing$, 其中 $$\mathcal{F}=\left\{d\in {\mathbb{R}}^n|\nabla g_i{\left(x^{\ast }\right)}^{T}d>0,i\in I\left(x^{\ast }\right)\right\},\mathcal{S}=\left\{d\in {\mathbb{R}}^n|\nabla f{\left(x^{\ast }\right)}^{T}d<0\right\}$$不等式约束问题的一阶必要条件，即著名的KKT条件
定理2-1    \; (KKT条件)设$x^{\ast }$是不等式约束问题$(2)$的局部极小点，有效约束集$I\left(x^{\ast }\right)=\left\{i|g_i\left(x^{\ast }\right)=0,i=1,\cdots ,m\right\}$
，并设$f(x)$和$g_i(x)$在$x^{\ast }$处可微，若向量组$\nabla g_i\left(x^{\ast }\right)\left(i\in I\left(x^{\ast }\right)\right)$线性无关，则存在向量${\lambda }^{\ast }={\left({\lambda }_1^{\ast },\cdots ,{\lambda }_m^{\ast }\right)}^T$使得
$$\{\begin{array}{l}\nabla f\left(x^{\ast }\right)-{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla g_i\left(x^{\ast }\right)=0\\ g_i\left(x^{\ast }\right)\ge 0,{\lambda }_i^{\ast }\ge 0,{\lambda }^{\ast }{g}_i\left(x^{\ast }\right)=0,i=1,\cdots ,m\end{array}$$证明：因$x^{\ast }$是问题$(2)$的局部极小点，故由引理3知，不存在$d\in {\mathbb{R}}^n$使得$$\nabla f{\left(x^{\ast }\right)}^{T}d<0,\nabla g_i{\left(x^{\ast }\right)}^{T}d>0,i\in I\left(x^{\ast }\right)$$即线性不等式组$\nabla f{\left(x^{\ast }\right)}^{T}d<0,-\nabla g_i{\left(x^{\ast }\right)}^{T}d<0,i\in I\left(x^{\ast }\right)$无解，于是由Gordon引理知，存在不全为0的非负实数${\mu }_0\ge 0$及${\mu }_i\ge 0(i\in I(x^{\ast }))$,使得$${\mu }_0\nabla f\left(x^{\ast }\right)-\sum _{i\in I\left(x^{\ast }\right)}{\mu }_i\nabla g_i\left(x^{\ast }\right)=0$$不难证明${\mu }_0̸=0$。事实上若${\mu }_0=0$，则有${\sum }_{i\in I\left(x^{\ast }\right)}{\mu }_i\nabla g_i\left(x^{\ast }\right)=0$，由此$\nabla g_i\left(x^{\ast }\right)\left(i\in I\left(x^{\ast }\right)\right)$可知线性相关，这与假设矛盾，因此必有${\mu }_0\ge 0$，于是可令 $${\lambda }_i^{\ast }=\frac{{\mu }_i}{{\mu }_0},i\in I\left(x^{\ast }\right);{\lambda }_i^{\ast }=0,i\in I\backslash I\left(x^{\ast }\right)$$则得$$\nabla f\left(x^{\ast }\right)-\sum _{i=1}^m{\lambda }_i^{\ast }\nabla g_i\left(x^{\ast }\right)=0$$及$$g_i\left(x^{\ast }\right)\ge 0,{\lambda }_i^{\ast }\ge 0,{\lambda }_i^{\ast }{g}_i\left(x^{\ast }\right)=0,i=1,\cdots ,m$$定理得证

3 \quad 一般约束问题的最优性条件

$$\min f(x)$$$$\text{ s.t. }{h}_i(x)=0,i=1,2,\cdots ,l(3)$$$$g_i(x)\ge 0,i=1,2,\cdots ,m$$记指标集$E=\{1,\cdots ,l\},I=\{1,\cdots ,m\}$
可行域$\mathcal{D}=\{x\in {\mathbb{R}}^n|h_i(x)=0,i\in E,g_i(x)\ge 0,i\in I\}$
将等式约束的KKT条件和不等式约束KKT条件合并起来即得到一般约束问题$(3)$的KKT一阶必要条件
KKT一阶必要条件    \; 设$x^{\ast }$是不等式约束问题$(3)$的局部极小点，在$x^{\ast }$有效约束集为
$S\left(x^{\ast }\right)=E\cup I\left(x^{\ast }\right)=E\cup \left\{i|g_i\left(x^{\ast }\right)=0,i\in I\right\}$并设$f(x),h_i(x)(i\in E)$ 和$g_i(x)(i\in I)$ 在$x^{\ast }$可微，若向量组$\nabla h_i(x^{\ast })(i\in E)$
, $\nabla g_i\left(x^{\ast }\right)\left(i\in I\left(x^{\ast }\right)\right)$线性无关，则存在向量$\left({\mu }^{\ast },{\lambda }^{\ast }\right)\in {\mathbb{R}}^l\times {\mathbb{R}}^m$ ，其中${\mu }^{\ast }={\left({\mu }_1^{\ast },\cdots ,{\mu }_l^{\ast }\right)}^T$ ，${\lambda }^{\ast }={\left({\lambda }_1^{\ast },\cdots ,{\lambda }_m^{\ast }\right)}^T$使得
$$\{\begin{array}{l}\nabla f\left(x^{\ast }\right)-{\sum }_{i=1}^l{\mu }_i^{\ast }\nabla h_i\left(x^{\ast }\right)-{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla g_i\left(x^{\ast }\right)=0\\ h_i\left(x^{\ast }\right)=0,i\in E(3.1)\\ g_i\left(x^{\ast }\right)\ge 0,{\lambda }_i^{\ast }\ge 0,{\lambda }_i^{\ast }{g}_i\left(x^{\ast }\right)=0,i\in I\end{array}$$
称$(3.1)$为KKT条件，满足这一条件的点$x^{\ast }$称为KKT点，而把$\left(x^{\ast },\left({\mu }^{\ast },{\lambda }^{\ast }\right)\right)$称为KKT对，其中$\left({\mu }^{\ast },{\lambda }^{\ast }\right)$称为问题的拉格朗日乘子，通常KKT点、KKT对和KKT条件可以不加区别的使用.
称为${\lambda }_i^{\ast }{g}_i\left(x^{\ast }\right)=0\left(i\in I\left(x^{\ast }\right)\right)$互补松弛条件，这意味着${\lambda }_i^{\ast }$和$g_i\left(x^{\ast }\right)$中至少有一个必为0，若二者中的一个为0，而另一个严格大于0，则称之为满足严格互补性松弛条件.
可以定义问题$(3)$的拉格朗日函数$$L(x,\lambda ,\mu )=f(x)-\sum _{i=1}^l{\mu }_i{h}_i(x)-\sum _{i=1}^m{\lambda }_i{g}_i(x)$$可以求出它关于变量$x$的梯度和Hessen矩阵分别为$${\nabla }_{x}L(x,\lambda ,\mu )=\nabla f(x)-\sum _{i=1}^l{\mu }_i\nabla h_i(x)-\sum _{i=1}^m{\lambda }_i\nabla g_i(x)$$$${\nabla }_{xx}^{2}L(x,\lambda ,\mu )={\nabla }^{2}f(x)-\sum _{i=1}^l{\mu }_i{\nabla }^2{h}_i(x)-\sum _{i=1}^m{\lambda }_i{\nabla }^2{g}_i(x)$$问题$(3)$的二阶充分条件：
定理3-2 对于约束优化问题$(3)$，假设$f(x),g_i(x)(i\in I)$和$h_i(x)(i\in E)$都是二阶连续可微的，有效约束集$I\left(x^{\ast }\right)=E\cup I\left(x^{\ast }\right)=E\cup \left\{i|g_i\left(x^{\ast }\right)=0,i\in I\right\}$ ，且$\left(x^{\ast },\left({\mu }^{\ast },{\lambda }^{\ast }\right)\right)$是问题的KKT点，若对任意的$0̸=d\in {\mathbb{R}}^n,\nabla g_i{\left(x^{\ast }\right)}^{T}d=0(i\in I\left(x^{\ast }\right),\nabla h_i{\left(x^{\ast }\right)}^{T}d=0(i\in E)$，均有$d^T{\nabla }_{xx}^{2}L\left(x^{\ast },{\lambda }^{\ast }\right)d>0$，则$x^{\ast }$是问题$(3)$的一个严格局部极小点
一般而言，问题$(3)$的KKT点不一定是局部极小点，但如果问题是下面的凸优化问题，则KKT点、局部极小点、全局极小点三者等价
定义2 对于约束优化问题$$\min f(x),x\in {\mathbb{R}}^n$$$$\text{ s.t. }{h}_i(x)=0,i=1,2,\cdots ,l$$$$g_i(x)\ge 0,i=1,2,\cdots ,m$$若$f(x)$是凸函数，$h_i(x)(i=1,\cdots ,l)$是线性函数，$g_i(x)(i=1,\cdots ,m)$是凹函数(即$-g_i(x)$是凸函数)，那么上述约束优化问题称为凸优化问题。
定理3-3 设$\left(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }\right)$是凸优化问题的KKT点，则$x^{\ast }$是该问题的全局极小点.
证明：因对于凸优化问题，其拉格朗日函数$$L\left(x,{\mu }^{\ast },{\lambda }^{\ast }\right)=f(x)-\sum _{i=1}^l{\mu }_i^{\ast }{h}_i(x)-\sum _{i=1}^m{\lambda }_i^{\ast }{g}_i(x)$$关于$x$是凸函数，故对于每一个可行点$x$，有$$\begin{array}{rl}f(x)& \ge f(x)-\sum _{i=1}^l{\mu }_i^{\ast }{h}_i(x)-\sum _{i=1}^m{\lambda }_i^{\ast }{g}_i(x)\\ & =L\left(x,{\mu }^{\ast },{\lambda }^{\ast }\right)\\ & \ge L\left(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }\right)+{\nabla }_{x}L{\left(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }\right)}^T\left(x-x^{\ast }\right)\\ & =L\left(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast }\right)=f\left(x^{\ast }\right)\end{array}$$故$x^{\ast }$是问题的全局极小点.
参考：马昌凤《最优化方法及其Matlab程序设计》