用于求解约束优化问题时的KKT 条件

用于求解约束优化问题时的KKT 条件

​ 对于只有等式的约束时，采用lagrange乘数法就可以很好的解决。
​ 但是当设计到不等式约束时，lagrange方法没法直接解决，但是可以参照其思想，对其进行推广，由此得出了KKT方法（Karush-Kuhn-Tucker方法），应用KKT方法求解优化问题时，便导出了KKT条件，求解KKT条件，便能得到该优化问题的可能解。
​ 含有等式和不等式约束的优化问题的一般形式如下：
$$\begin{gathered} \underset{\mathbf{x}}{\min }f(\mathbf{x}) \\ s.t.g_j(\mathbf{x})=0,j=1,...,m \\ {h}_k(\mathbf{x})\le 0,k=1,...,p \end{gathered}$$

​ 其广义lagrangian函数为：
$$L(\mathbf{x},\{{\lambda }_j\},\{{\mu }_k\})=f(\mathbf{x})+\sum _{j=1}^m{\lambda }_j{g}_j(\mathbf{x})+\sum _{k=1}^p{\mu }_k{h}_k(\mathbf{x})$$
​ KKT条件为：
$$\begin{gathered} {\nabla }_{\mathbf{x}}L=0 \\ {g}_j(\mathbf{x})=0 \\ {h}_k(\mathbf{x})\le 0 \\ {\mu }_k\ge 0 \\ {\mu }_k{h}_k(\mathbf{x})=0 \end{gathered}$$
​ 其中，${\mu }_k\ge 0$ 称为对偶可行性条件，${\mu }_k{h}_k(\mathbf{x})=0$ 称为互补松弛性条件

​ 若为最大化 $f(x)$ ,当约束条件不变，则对偶可行性要改为：${\mu }_k\le 0$ 。

则通过求解KKT条件，就能求得上述约束优化问题的解。

详细参考见：

https://zhuanlan.zhihu.com/p/38163970

and

https://ccjou.wordpress.com/2017/02/07/karush-kuhn-tucker-kkt-%E6%A2%9D%E4%BB%B6/