等式约束和不等式约束下的KKT条件求法
一、写在前面
本篇内容主要写非线性规划等式约束和不等式约束下的KKT条件，主要通过举例说明。
二、等式约束下的KKT条件
1、 题目描述
考虑等式约束的最小二乘问题
m i n i m i z e x T x s u b j e c t t o A x = b minimize \quad x^Tx \\ subject \ to \quad Ax=b minimizexTxsubject toAx=b
其中， A ∈ R m ∗ n , r a n k ( A ) = m A \in \mathbb{R}^{m*n},rank(A)=m A∈Rm∗n,rank(A)=m。给出KKT条件，推导原问题最优解 x ∗ x^* x∗ 以及对偶问题最优解 v ∗ v^* v∗ 的表达式。
2、Lagrarian函数
L ( x , v ) = x T x + v T ( A x − b ) = x T x + v T A x − v T b \begin{array}{lcl} L(x,v) &=& x^Tx+v^T(Ax-b) \\ &=& x^Tx+v^TAx-v^Tb \end{array} L(x,v)==xTx+vT(Ax−b)xTx+vTAx−vTb
3、KKT条件
其对应的KKT条件如下：
∂ L ( x ∗ , v ∗ ) ∂ ( x ∗ ) = 0 / / 导 数 为 0 ( v ∗ ) T ≠ 0 / / L a g r a n g e 乘 子 不 为 0 A x ∗ = b / / 等 式 约 束 条 件 \begin{array}{lcl} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = 0 \quad \quad //导数为0\\ (v^*)^T \neq 0 \quad \quad //Lagrange乘子不为0 \\ Ax^* = b \quad \quad //等式约束条件 \end{array} ∂(x∗)∂L(x∗,v∗)=0//导数为0(v∗)T̸=0//Lagrange乘子不为0Ax∗=b//等式约束条件
二、不等式约束下的KKT条件
1、 题目描述
考虑不等式约束下的线性规划问题
m a x i m i z e f ( x ) = ( x − 3 ) 2 s u b j e c t t o 1 ≤ x ≤ 5 maximize \quad f(x)=(x-3)^2 \\ subject \ to \quad 1≤x≤5 maximizef(x)=(x−3)2subject to1≤x≤5
2、Lagrarian函数
原条件等价于：
m i n f ( x ) = − ( x − 3 ) 2 g 1 ( x ) = 1 − x ≤ 0 g 2 ( x ) = x − 5 ≤ 0 \begin{array}{lcl} min \ f(x)=-(x-3)^2\\ g_1(x)=1-x ≤0 \\ g_2(x)=x-5 ≤0 \end{array} min f(x)=−(x−3)2g1(x)=1−x≤0g2(x)=x−5≤0
其对应的Lagrarian函数为：
L ( x , λ 1 , λ 2 ) = f ( x ) + λ 1 g 1 ( x ) + λ 2 g 2 ( x ) = − ( x − 3 ) 2 + λ 1 ( 1 − x ) + λ 2 ( x − 5 ) \begin{array}{lcl} L(x,λ_1,λ_2) &=& f(x)+λ_1g_1(x)+λ_2g_2(x) \\ &=&-(x-3)^2+λ_1(1-x)+λ_2(x-5) \end{array} L(x,λ1,λ2)==f(x)+λ1g1(x)+λ2g2(x)−(x−3)2+λ1(1−x)+λ2(x−5)
3、KKT条件
其对应的KKT条件如下：
∂ L ( x ∗ , v ∗ ) ∂ ( x ∗ ) = − 2 ( x ∗ − 3 ) − λ 1 ∗ + λ 2 ∗ = 0 / / 导 数 为 0 λ 1 ∗ g 1 ( x ∗ ) = λ 1 ∗ ( 1 − x ∗ ) = 0 / / 不 等 式 约 束 条 件 λ 2 ∗ g 2 ( x ∗ ) = λ 2 ∗ ( x ∗ − 5 ) = 0 / / 不 等 式 约 束 条 件 g 1 ( x ∗ ) ≤ 0 / / 不 等 式 约 束 条 件 g 2 ( x ∗ ) ≤ 0 / / 不 等 式 约 束 条 件 λ 1 ∗ ≥ 0 / / L a g r a n g e 乘 子 大 于 0 λ 2 ∗ ≥ 0 / / L a g r a n g e 乘 子 大 于 0 \begin{array}{lcl} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = -2(x^*-3)-λ_1^*+λ_2^* = 0 \quad \quad //导数为0\\ λ_1^*g_1(x^*) =λ_1^*(1-x^*)=0 \quad \quad //不等式约束条件\\ λ_2^*g_2(x^*) =λ_2^*(x^*-5)=0 \quad \quad //不等式约束条件\\ g_1(x^*) ≤ 0 \quad \quad //不等式约束条件\\ g_2(x^*) ≤ 0 \quad \quad //不等式约束条件\\ λ_1^*≥0 \quad \quad //Lagrange乘子大于0\\ λ_2^*≥0\quad \quad //Lagrange乘子大于0\\ \end{array} ∂(x∗)∂L(x∗,v∗)=−2(x∗−3)−λ1∗+λ2∗=0//导数为0λ1∗g1(x∗)=λ1∗(1−x∗)=0//不等式约束条件λ2∗g2(x∗)=λ2∗(x∗−5)=0//不等式约束条件g1(x∗)≤0//不等式约束条件g2(x∗)≤0//不等式约束条件λ1∗≥0//Lagrange乘子大于0λ2∗≥0//Lagrange乘子大于0
二、等式约束和不等式约束结合的KKT条件
1、 题目描述
考虑不等式约束下的线性规划问题
m i n i m i z e f ( x ) g ( x ) = 0 h ( x ) ≤ 0 minimize f(x) \\ g(x)=0 \\ h(x)≤0 minimizef(x)g(x)=0h(x)≤0
2、Lagrarian函数
其对应的Lagrarian函数为：
L ( x , λ , μ ) = f ( x ) + λ g ( x ) + μ h ( x ) \begin{array}{lcl} L(x,λ,μ) & = f(x)+λg(x)+μh(x) \end{array} L(x,λ,μ)=f(x)+λg(x)+μh(x)
3、KKT条件
其对应的KKT条件如下：
∂ L ( x ∗ , v ∗ ) ∂ ( x ∗ ) = 0 / / 导 数 为 0 λ ∗ ≠ 0 / / 等 式 L a g r a n g e 乘 子 不 为 0 g ( x ∗ ) = 0 / / 等 式 约 束 条 件 μ ∗ h ( x ∗ ) = 0 / / 不 等 式 约 束 条 件 h ( x ∗ ) ≤ 0 / / 不 等 式 约 束 条 件 μ ∗ ≥ 0 / / 不 等 式 L a g r a n g e 乘 子 大 于 0 \begin{array}{lcl} \frac{\partial L(x^*,v^*)}{\partial (x^*)} = 0 \quad \quad //导数为0\\ λ^* \neq 0 \quad \quad //等式Lagrange乘子不为0 \\ g(x^*) =0 \quad \quad //等式约束条件 \\ μ^*h(x^*) =0 \quad \quad //不等式约束条件\\ h(x^*) ≤ 0 \quad \quad //不等式约束条件 \\ μ^*≥0 \quad \quad //不等式Lagrange乘子大于0\\ \end{array} ∂(x∗)∂L(x∗,v∗)=0//导数为0λ∗̸=0//等式Lagrange乘子不为0g(x∗)=0//等式约束条件μ∗h(x∗)=0//不等式约束条件h(x∗)≤0//不等式约束条件μ∗≥0//不等式Lagrange乘子大于0