凸优化基本概念与kkt条件

凸优化问题
一般用
min $f_{{}_0}(x)$
s.t. $f_i(x)\le 0,i=1,...,m$
$h_i(x)=0,i=1,...,p$
其中，f0(x)是目标函数，$f_i(x)$是不等式约束，$h_{{}_i}(x)$是等式约束。如果没有约束，就称问题为无约束问题。
对目标和所有约束函数有定义的点的集合，称为该问题的定义域，记为：$$D=\bigcap _{i=0}^{m}dom{f}_i\cap \bigcap _{i=1}^{p}dom{\mathrm{h}}_i$$

一般要求： $f_{{}_0}(x)$与$f_{{}_i}(x)$是凸函数，且$h_{{}_i}(x)$为仿射函数（仿射函数即是有一截多项式构成的函数，一般为fx=Ax+b，其中A是个矩阵，x和b是向量），这样的问题就是凸优化问题。（定义域也要求为凸集）当目标函数是凹函数需要求极大值时，可以通过加负号转为凸函数求极小。
这里需要注意，不等式约束fi(x)<=0则要求fi(x)为凸函数，若fi(x)>=0则要求fi(x)为凹函数
凸优化的任一局部极值点也就是全局的极值点，局部最优情况也是全局最优情况。
概念先介绍到这，下面接着上一篇拉格朗日乘子法，介绍文章开头带有不等式约束条件的优化问题：
对于不等式约束的优化，一般满足著名的KKT条件，满足条件的解就是极小值点
我们定义不等式约束下的拉格朗日函数：
$$L(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_{{}_i}(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
若要求解优化问题，必须满足下列条件，
1、L对x的一阶导数为0
2、h(x)=0
3、${\lambda }_i$>=0 （对偶可行性）
4、${\lambda }_i{f}_i(x)=0$（互补松弛条件，想要明白该条件为什么成立，可以参考知乎上的一篇文章：浅谈最优化问题的kkt条件）
注意kkt条件是最优解的必要条件
如果不是凸优化问题，还要附加一个L(x,${\lambda }_i$)是正定的条件