等式约束和不等式约束下的KKT条件求法

一、写在前面

本篇内容主要写非线性规划等式约束和不等式约束下的KKT条件，主要通过举例说明。

二、等式约束下的KKT条件

1、 题目描述

考虑等式约束的最小二乘问题
$$\begin{gathered} minimize{x}^{T}x \\ subjecttoAx=b \end{gathered}$$
其中，$A\in {\mathbb{R}}^{m\ast n},rank(A)=m$。给出KKT条件，推导原问题最优解$x^{\ast }$ 以及对偶问题最优解$v^{\ast }$ 的表达式。

2、Lagrarian函数

$$\begin{array}{lcl}L(x,v)& =& x^{T}x+v^T(Ax-b)\\ & =& x^{T}x+v^{T}Ax-v^{T}b\end{array}$$

3、KKT条件

其对应的KKT条件如下：
$$\begin{array}{l}\frac{\partial L(x^{\ast },v^{\ast })}{\partial (x^{\ast })}=0//导数为0\\ (v^{\ast }{)}^T̸=0//Lagrange乘子不为0\\ A{x}^{\ast }=b//等式约束条件\end{array}$$

二、不等式约束下的KKT条件

1、 题目描述

考虑不等式约束下的线性规划问题
$$\begin{gathered} maximizef(x)=(x-3{)}^2 \\ subjectto1\le x\le 5 \end{gathered}$$

2、Lagrarian函数

原条件等价于：
$$\begin{array}{l}minf(x)=-(x-3{)}^2\\ g_1(x)=1-x\le 0\\ g_2(x)=x-5\le 0\end{array}$$
其对应的Lagrarian函数为：
$$\begin{array}{lcl}L(x,{\lambda }_1,{\lambda }_2)& =& f(x)+{\lambda }_1{g}_1(x)+{\lambda }_2{g}_2(x)\\ & =& -(x-3{)}^2+{\lambda }_1(1-x)+{\lambda }_2(x-5)\end{array}$$

3、KKT条件

其对应的KKT条件如下：
$$\begin{array}{l}\frac{\partial L(x^{\ast },v^{\ast })}{\partial (x^{\ast })}=-2(x^{\ast }-3)-{\lambda }_1^{\ast }+{\lambda }_2^{\ast }=0//导数为0\\ {\lambda }_1^{\ast }{g}_1(x^{\ast })={\lambda }_1^{\ast }(1-x^{\ast })=0//不等式约束条件\\ {\lambda }_2^{\ast }{g}_2(x^{\ast })={\lambda }_2^{\ast }(x^{\ast }-5)=0//不等式约束条件\\ g_1(x^{\ast })\le 0//不等式约束条件\\ g_2(x^{\ast })\le 0//不等式约束条件\\ {\lambda }_1^{\ast }\ge 0//Lagrange乘子大于0\\ {\lambda }_2^{\ast }\ge 0//Lagrange乘子大于0\end{array}$$

二、等式约束和不等式约束结合的KKT条件

1、 题目描述

考虑不等式约束下的线性规划问题
$$\begin{gathered} minimizef(x) \\ g(x)=0 \\ h(x)\le 0 \end{gathered}$$

2、Lagrarian函数

其对应的Lagrarian函数为：
$$\begin{array}{lc}L(x,\lambda ,\mu )& =f(x)+\lambda g(x)+\mu h(x)\end{array}$$

3、KKT条件

其对应的KKT条件如下：
$$\begin{array}{l}\frac{\partial L(x^{\ast },v^{\ast })}{\partial (x^{\ast })}=0//导数为0\\ {\lambda }^{\ast }̸=0//等式Lagrange乘子不为0\\ g(x^{\ast })=0//等式约束条件\\ {\mu }^{\ast }h(x^{\ast })=0//不等式约束条件\\ h(x^{\ast })\le 0//不等式约束条件\\ {\mu }^{\ast }\ge 0//不等式Lagrange乘子大于0\end{array}$$