KKT条件介绍

用途:满足 KKT 条件后极小化 拉格朗日公式 即可得到在不等式约束条件下的可行解

首先给出形式化的不等式约束优化问题:

\large min_{x}f(x)

\large {\color{Blue} s.t.} h_{i}(x)=0,i=1,2,...m

\large g_{i}(x)\leqslant 0,i=1,2,...n

列出 拉格朗日公式 得到无约束优化问题:

\large L(x,\lambda ,\upsilon )=f(x)+ \sum_{i=1}^{n}\lambda _{i}g_{i}(x)+\sum_{i=i}^{m}\upsilon_{i} h_{i}(x)

\large \lambda \geqslant 0

KKT condition:

一.

如果存在 x,\lambda ,\upsilon ,使得 p^{*}=d^{*}(原函数最优 = 对偶最优),则此时 x,\lambda ,\upsilon 就分别是原问题和对偶问题的最优解,可知:

\large f(x^{*})=g(\lambda ^{*},\upsilon ^{*})=min_{x}L(x,\lambda ^{*},\upsilon ^{*})=L(x^{*},\lambda ^{*},\upsilon ^{*})

二.

即如果存在 x,\lambda ,\upsilon 使:

\large \frac{\partial L(x,\lambda ,\upsilon )}{\partial x}=0 因为要满足: \large minL(x,\lambda ,\upsilon )
\large \upsilon_{i} \cdot h_{i}(x)=0 因为要满足:\large L(x^{*},\lambda ^{*},\upsilon ^{*})=f(x^{*})
\large g_{i}(x)\leqslant 0,h_{i}(x)=0 原问题的可行域
\large \lambda_{i} \geqslant 0 因为要满足:\large L(x,\lambda ,\upsilon )\leqslant f(x)

如果存在 x,\lambda ,\upsilon 满足上面四个条件,那么他们就是原问题和对偶问题的可行解。这就是KKT条件。

满足 KKT 条件,那么一定是强对偶。

你可能感兴趣的:(凸优化,图像处理,算法)