凸优化第五章对偶 5.9广义不等式

5.9广义不等式

  1. Lagrange对偶
  2. 最优性条件

Lagrange对偶

minimize \, \,f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\preceq _{K_i}0&i=1,2\cdots m \\ h_i(x)=0 &i=1,2 \cdots p \end{matrix}

其中K_i \in R^{K_i}是正常锥。

对于问题中的每个广义不等式f_i(x)\preceq _{K_i}0,引入Lagrange乘子向量,\lambda _i \in R^{K_i},并定义相关的Lagrange函数:

L(x,\lambda,v)=f_0(x)+\sum_{i=1}^m\lambda^T_if_i(x)+\sum _{i=1}^p v_ih_i(x)

对偶函数:

g(\lambda,v)=\underset{x \in D}{inf}L(x,\lambda,v)=\underset{x \in D}{inf}(f_0(x)+\sum_{i=1}^m\lambda^T_if_i(x)+\sum _{i=1}^p v_ih_i(x))

弱对偶性:如果\lambda_i \succeq_{K_i^*}0,即广义不等式的Lagrange乘子必须是对偶非负的,则g(\lambda,v)\leq P^*

对偶问题:

minimize \, \, g(\lambda,v)\\ subject \,\, to \,\,\lambda_i\succeq_{K_i^*}0,i=1,2\cdots m

弱对偶性始终成立。

在广义不等式的情况下,强对偶性成立的条件:原问题是凸的且满足约束条件(Slater条件)

对于如下问题:

minimize \, \,f_0(x)\\ subject \, \, to \, \,\begin{matrix} f_i(x)\preceq _{K_i}0&i=1,2\cdots m \\ Ax=b & \end{matrix}

其中f_0是凸函数,f_i,i=1,2\cdots mK_i凸的,其Slater条件:

\exists x\in relint D,f_i(x)\prec _{K_i}0,i=1,2,\cdots m,Ax=b

如果Slater条件成立,强对偶性成立。

半定规划问题

minimize \,\, c^Tx \\ subject \,\, to \, \,x_1F_1+x_2F_2+\cdots+x_nF_n+G\preceq 0

其中F_1,\cdots F_n,G \in S^k,此时f_1是仿射的,锥K_1为半正定锥S^k_+

引入Lagrange乘子z,其Lagrange函数:

L(x,z)=c^Tx+\boldsymbol{tr}((x_1F_1+x_2F_2+\cdots+x_nF_n+G)z)=x_1(c_1+\boldsymbol{tr}(F_1z))+\cdots +x_n(c_n+\boldsymbol{tr}(F_nz))+\boldsymbol{tr}(Gz)

对偶函数:

g(z)=\underset{x}{inf}L(x,z)

对x极小化,当且仅当c_i+\boldsymbol{tr}(F_iz)=0,i=1,\cdots n,此时g(z)有下界\boldsymbol{tr}(GZ),其他情况下g(z)无下界。

g(z)=\underset{x}{inf}L(x,z)=\left\{\begin{matrix} \boldsymbol{tr}(Gz) & c_i+\boldsymbol{tr}(F_iz)=0,i=1,\cdots n \\ -\infty & otherwise \end{matrix}\right.

对偶问题:

maximize \,\, \boldsymbol{tr}(Gz) \\ subject \,\, to \, \,z\succeq 0,\boldsymbol{tr}(F_iz)+c_i=0,i=1,\cdots n

最优性条件

互补松弛性

\lambda^*_i\succ _{K_i^*} 0\Rightarrow f_i(x^*)=0\\ f_i(x^*)\succ_{K_i} 0\Rightarrow \lambda _i^*=0

KKT条件

f_i(x^*)\precep_{K_i} 0,i=1,\cdots m \\ h_i(x^*)=0,i=1,\cdots p \\ \lambda _i^*\succeq_{K_i^*} 0,i=1,\cdots m\\ \lambda_i^*f_i(x^*)=0,i=1,\cdots m\\ \bigtriangledown_x L(x^*,\lambda^*,v^*)=\bigtriangledown _xf_0(x^*)+\sum_{i=1}^m\lambda^*_i\bigtriangledown _xf_i(x^*)+\sum_{i=1}^pv^*_i \bigtriangledown _xh_i(x^*)=0

你可能感兴趣的:(凸优化)