凸优化——凸优化问题与算法

一、凸优化问题
  考虑一个优化问题，其优化函数为凸函数，其约束集为凸集，则广义的称其为凸优化问题。

1.1 一般优化问题
  再考虑一般优化问题的描述，形如$$\begin{array}{rl}min& f_0(\mathbf{x})\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & h_i(\mathbf{x})=0,i=1,...,p\end{array}$$其中，$\mathbf{x}$称为优化变量；$f_0:{\mathbf{R}}^n\to R$称为目标函数或损失函数，或在极大化问题中称为效用函数；$f_i:{\mathbf{R}}^n\to R$称为不等式约束；$h_i:{\mathbf{R}}^n\to R$称为等式约束；所有函数的定义域交集$$D=\bigcap _{i=0}^{m}dom{f}_i\cap \bigcap _{i=1}^{p}dom{h}_i$$称为优化问题的域；满足约束的解$\mathbf{x}\in D$的集合$X_f$称为可行解集。
  若$X_f\ne \varnothing$，则总有$\mathbf{x}\in X_f$使得目标函数取得最优值$$p^{\ast }=inf\{f_0(\mathbf{x})|\mathbf{x}\in X_f\}$$若$X_f=\varnothing$，则取$p^{\ast }$取$+\infty$，以说明该极小化问题无意义。
  对应的，若${\mathbf{x}}^{\ast }\in D$且$$f_0({\mathbf{x}}^{\ast })=p^{\ast }$$则称其为问题的最优解。最优解可以不唯一，便形成了最优解集$$X_{opt}=\{\mathbf{x}|\mathbf{x}\in X_f,f_0(\mathbf{x})=p^{\ast }\}$$  然而很多实际问题并不需要最优解，考虑图像处理时PSNR过高，这是不必要的。对于达到一种对于工程问题充足满意的解，称为$ϵ$次优解集，形如$$X_{ϵ}=\{\mathbf{x}|\mathbf{x}\in X_f,f_0(\mathbf{x})\le p^{\ast }+ϵ\}$$  再考虑一种解，其在局部范围内最优，称为局部最优解，形如$$f_0(\mathbf{x})=inf\{f_0(\mathbf{z})|s.t.||\mathbf{z}-\mathbf{x}||\le R,\exists R>0\}$$  对于寻找可行解集的问题，称为可行性优化问题，形如$$\begin{array}{rl}min& 0\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & h_i(\mathbf{x})=0,i=1,...,p\end{array}$$ 
1.2 凸优化问题
  狭义的考虑一种简单的凸问题，形如$$\begin{array}{rl}min& f_0(\mathbf{x})\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & {\mathbf{a}}_i^T\mathbf{x}=b_i,i=1,...,p\end{array}$$其目标函数、不等式约束函数为凸函数，且等式约束函数为仿射函数。其有一条重要性质，即其局部最优解就是全局最优解。
  当目标函数可微时，考虑凸函数的一阶性质，即$$$f(\mathbf{y})\ge f(\mathbf{x})+▽f^T(\mathbf{x})(\mathbf{y}-\mathbf{x}),\forall \mathbf{x},\mathbf{y}\in domf$$再考虑凸问题的可行域$X_f$，则当$$▽f^T({\mathbf{x}}^{\ast })(\mathbf{y}-{\mathbf{x}}^{\ast })\ge 0,\forall \mathbf{y}\in X_f$$自然有${\mathbf{x}}^{\ast }\in X_f$是最优解。

1.3 线性规划
  考虑线性规划问题$$\begin{array}{rl}min& {\mathbf{c}}^T\mathbf{x}+\mathbf{d}\\ s.t.& \mathbf{G}\mathbf{x}\le \mathbf{h}\\ & \mathbf{A}\mathbf{x}=\mathbf{b}\end{array}$$其目标函数与约束均是仿射的，其是凸问题的一个特例，其约束集是一个多面体，而最优值总是存在且至少有一个取在多面体的顶点。
  考虑线性规划问题的等价变换，形如$$\begin{array}{rl}min& {\mathbf{c}}^T\mathbf{x}+\mathbf{d}\\ s.t.& \mathbf{G}\mathbf{x}+\mathbf{S}=\mathbf{h}\\ & \mathbf{A}\mathbf{x}=\mathbf{b}\\ & \mathbf{S}\ge 0\end{array}$$其中$\mathbf{S}$称为松弛变量，其与上述式等价。再进行变换，考虑这样的问题，对于上述问题的最优解${\mathbf{x}}^{\ast }=\{x_n\}$，取出其中的正元素向量${\mathbf{x}}^{+}$与复元素向量${\mathbf{x}}^{-}$，使得$${\mathbf{x}}^{+}-{\mathbf{x}}^{-}={\mathbf{x}}^{\ast }$$即$$\begin{array}{rl}min& {\mathbf{c}}^T{\mathbf{x}}^{+}-{\mathbf{c}}^T{\mathbf{x}}^{-}+\mathbf{d}\\ s.t.& \mathbf{G}{\mathbf{x}}^{+}-\mathbf{G}{\mathbf{x}}^{+}+\mathbf{S}=\mathbf{h}\\ & {\mathbf{A}\mathbf{x}}^{+}-{\mathbf{A}\mathbf{x}}^{-}=\mathbf{b}\\ & \mathbf{S}\ge 0\\ & x_i^{+}\ge 0\\ & x_i^{-}\ge 0\end{array}$$该变换依然等价，因为再变换前后，都有一一对应的可行解并且使得函数保持一致。虽然约束与自变量增加了，但其等式约束均仿射，且约束均为非负，故一般的优化问题都可以写成$$\begin{array}{rl}min& {\mathbf{c}}^T\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}=\mathbf{b}\\ & x_i\ge 0\end{array}$$ 
1.4 二次规划
  考虑二次规划问题$$\begin{array}{rl}min& {\mathbf{x}}^T\mathbf{p}\mathbf{x}/2+{\mathbf{q}}^T\mathbf{x}+r\\ s.t.& \mathbf{G}\mathbf{x}\le \mathbf{h}\\ & \mathbf{A}\mathbf{x}=\mathbf{b}\end{array}$$其目标函数为凸的二次函数，即$\mathbf{p}⪰0$，且约束仿射。
  线性规划的最优值总是存在且至少有一个取在约束的顶点，而二次规划的最优值可能出现在约束的内部。
  当约束非仿射，而是一种二次的凸约束，则称其为二次约束二次规划【Quadratically Constrained Quadratic Programming，QCQP】，形如$$\begin{array}{rl}min& {\mathbf{x}}^T\mathbf{p}\mathbf{x}/2+{\mathbf{q}}^T\mathbf{x}+\mathbf{r}\\ s.t.& {\mathbf{x}}^T\mathbf{P}\mathbf{x}/2+{\mathbf{Q}}^T\mathbf{x}+\mathbf{h}\le 0\\ & \mathbf{A}\mathbf{x}=\mathbf{b}\end{array}$$考虑带噪声的系统$$\mathbf{b}=\mathbf{A}\mathbf{x}+\mathbf{e}$$这是一个信号恢复问题，对于已知的$b$与$\mathbf{A}$，在未知误差$e$下估计$\mathbf{x}$的值。考虑最小二乘法，形如$$\begin{array}{rl}\hat{\mathbf{x}}& =argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2\\ & =argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2\\ & =argmi{n}_{\mathbf{x}}{\mathbf{x}}^T{\mathbf{A}}^T\mathbf{A}\mathbf{x}-2{\mathbf{b}}^T\mathbf{A}\mathbf{x}+{\mathbf{b}}^T\mathbf{b}\\ & =({\mathbf{A}}^{-1}\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{b}\end{array}$$再考虑$\mathbf{x}$是稀疏的，那么定义优化函数，形如$$\hat{\mathbf{x}}=argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2+{\lambda }_0||\mathbf{x}|{|}_0$$以优化误差与稀疏程度。然而，带有0范数的函数是非凸函数，可以近似为$$\hat{\mathbf{x}}=argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2+{\lambda }_1||\mathbf{x}|{|}_1$$该问题称为l1范数规范化问题。但该问题虽然是凸问题，但1范数不符合二次规划问题，取$$\mathbf{x}={\mathbf{x}}^{+}-{\mathbf{x}}^{-}$$形如$$\hat{\mathbf{x}}=argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2+{\lambda }_1||{\mathbf{x}}^{+}-{\mathbf{x}}^{-}|{|}_1$$即$$\begin{array}{rl}min& ||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2+{\lambda }_1{1}^T{\mathbf{x}}^{+}+{\lambda }_1{1}^T{\mathbf{x}}^{-}\\ s.t.& {\mathbf{x}}^{+}\ge 0\\ & {\mathbf{x}}^{-}\ge 0\end{array}$$该问题是一个二次规划问题。
  此外，l2范数规范化问题，又称岭回归问题，也是一种重要的问题。考虑$\mathbf{x}$中的值相差不大，则其2范数较小，形如$$\hat{\mathbf{x}}=argmi{n}_{\mathbf{x}}||\mathbf{b}-\mathbf{A}\mathbf{x}|{|}_2^2+{\lambda }_2||\mathbf{x}|{|}_2^2$$其惩罚了权重过大的分量，$\mathbf{x}$的系数为${\mathbf{A}}^T\mathbf{A}+{\lambda }_2\mathbf{I}$，即若${\lambda }_2>0$，$\mathbf{x}$正定，即该问题是一个凸问题。

---

二、对偶性
2.1 拉格朗日函数
  考虑优化问题$$\begin{array}{rl}min& f_0(\mathbf{x})\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & h_i(\mathbf{x})=0,i=1,...,p\end{array}$$对于一般问题，其不一定是凸的，那么可以从对偶性的角度来解决。
  首先考虑$\mathbf{x}\in {\mathbf{R}}^n$，定义域为约束的定义域，以及最优值$p^{\ast }$，定义拉格朗日函数，形如$$L(\mathbf{x},\mathbf{\lambda },\mathbf{v})=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{v}_i{h}_i(\mathbf{x})$$其中，$\mathbf{\lambda }\in {\mathbf{R}}^m$，$\mathbf{v}\in {\mathbf{R}}^p$称为拉格朗日乘子。
  再定义拉格朗日对偶函数，形如$$g(\mathbf{\lambda },\mathbf{v})=in{f}_{\mathbf{x}\in D}L(\mathbf{x},\mathbf{\lambda },\mathbf{v})$$即$L$的下确界。
  无论原优化问题的凸性如何，由于$L(\mathbf{x},\mathbf{\lambda },\mathbf{v})$对$\mathbf{\lambda },\mathbf{v}$是仿射的，故取一系列仿射函数的下界，即对偶函数一定是一个凹函数，且$\forall \lambda >0,\forall v,g(\mathbf{\lambda },\mathbf{v})\le p^{\ast }$。
  设${\mathbf{x}}^{\ast }$是上述优化问题的最优解，则其满足约束，即$$f({\mathbf{x}}^{\ast })\le 0,h({\mathbf{x}}^{\ast })=0$$那么当$\forall \lambda >0,\forall v$，有$$\begin{gathered} \sum _{i=1}^m{\lambda }_i{f}_i({\mathbf{x}}^{\ast })+\sum _{i=1}^p{v}_i{h}_i({\mathbf{x}}^{\ast })\le 0 \\ L({\mathbf{x}}^{\ast },\mathbf{\lambda },\mathbf{v})=f_0({\mathbf{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i{f}_i({\mathbf{x}}^{\ast })+\sum _{i=1}^p{v}_i{h}_i({\mathbf{x}}^{\ast }) \end{gathered}$$即$$g(\mathbf{\lambda },\mathbf{v})\le L({\mathbf{x}}^{\ast },\mathbf{\lambda },\mathbf{v})\le p^{\ast }$$

2.2 共轭函数
  对于映射$f:{\mathbf{R}}^n\to R$，称映射$$f^{\ast }(\mathbf{y})=su{p}_{\mathbf{x}\in domf}({\mathbf{y}}^T\mathbf{x}-f(\mathbf{x}))$$为映射$f$的共轭。
  考虑一个简单的优化问题$$\begin{array}{rl}min& f(x)\\ s.t.& x=0\end{array}$$显然，$x^{\ast }=0$。从对偶与共轭的角度考虑，其拉格朗日函数与对偶函数为$$\begin{gathered} L(x,v)=f(x)+vx,domL=domf\cap R \\ g(v)=in{f}_{x\in domf}(f(x)+vx) \end{gathered}$$将对偶函数翻转为上界，形如$$g(v)=-su{b}_{x\in domf}(-f(x)-vx)$$又$f(x)$的共轭函数为$$f^{\ast }(-v)=su{p}_{x\in domf}(-vx-f(x)))$$故$$g(v)=-f^{\ast }(-v)$$

2.3 强对偶与弱对偶问题
  考虑最大化优化问题的拉格朗日函数$$\begin{array}{rl}max& g(\mathbf{\lambda },\mathbf{v})\\ s.t.& {\lambda }_i\ge 0\end{array}$$该优化问题称为原优化问题的对偶问题。
  定义其上界为$d^{\ast }$，则$d^{\ast }\le p^{\ast }$。对偶问题是一个凸问题，其约束为半平面集，故必有最优解，定义最优解为${\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast }$，称为对偶问题的最优解，也称最优拉格朗日乘子。该问题的定义域为${\mathbf{R}}^{m+p}$。
  首先定义，当一个优化问题的对偶问题的最优解$d^{\ast }$与该优化问题的最优解$p^{\ast }$有$$d^{\ast }\le p^{\ast }$$则称该对偶关系为弱对偶，任何优化问题与其对偶问题都是弱对偶的。而当$$d^{\ast }=p^{\ast }$$则称该对偶关系为强对偶。接下来讨论何时一个优化问题与其对偶问题为强对偶关系。
  首先给出一些定义。定义对偶间隙$p^{\ast }-d^{\ast }$，则强对偶时，对偶间隙为0；定义原问题$D$的相对内部$$RelintD=\{\mathbf{x}\in D|B(\mathbf{x},r)\cap affD\subseteq D\exists r>0\}$$其中，$B(\mathbf{x},r)$表示以$\mathbf{x}$为中心，$r$为半径的球；$affD$表示$D$的仿射包。直观的讲，$D$的相对内部就是去除$D$的边界后的开集区域。
  有了相对内部的定义，就可以通过斯莱特【Slater】条件使得对偶间隙为0。该条件仅是一个充分条件，仅可在某些条件下使得对偶间隙为0，但不满足该条件依然可能使得对偶间隙为0。该条件的内容为，若有凸问题$$\begin{array}{rl}min& f_0(\mathbf{x})\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & h_i(\mathbf{x})=0,i=1,...,p\end{array}$$其中$f_i(x)$为凸，当$\exists \mathbf{x}\in RelintD$使得$f_i(\mathbf{x})<0$与$h_i(\mathbf{x})=0$同时成立时，有$p^{\ast }=d^{\ast }$。

2.4 KKT条件
  斯莱特条件给出了凸问题强对偶的充分成立条件。而接下来对于更一般的凸优化问题进行讨论。考虑优化问题$$\begin{array}{rl}min& f_0(\mathbf{x})\\ s.t.& f_i(\mathbf{x})\le 0,i=1,...,m\\ & h_i(\mathbf{x})=0,i=1,...,p\end{array}$$其对偶函数为$$g(\mathbf{\lambda },\mathbf{v})=in{f}_{\mathbf{x}\in D}\{f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{v}_i{h}_i(\mathbf{x})\}$$其对偶问题为$$\begin{array}{rl}max& g(\mathbf{\lambda },\mathbf{v})\\ s.t.& {\lambda }_i\ge 0\end{array}$$对于非常一般的优化问题，其分析是十分复杂的，因此做出两个强假设。首先，假设优化问题与其对偶问题是强对偶的；其次，所有函数都是可微的。
  考虑优化问题的最优解${\mathbf{x}}^{\ast }$与对偶问题的最优解${\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast }$，其满足如下性质$$\begin{gathered} f_i({\mathbf{x}}^{\ast })\le 0,i=1,...,m \\ {h}_i({\mathbf{x}}^{\ast })=0,i=1,...,p \\ {\lambda }_i^{\ast }>0 \end{gathered}$$其分别是优化问题与对偶问题的可行性。再考虑优化问题的最优值$p^{\ast }$与对偶问题的最优解$d^{\ast }$，有$$\begin{array}{rl}{f}_0({\mathbf{x}}^{\ast })& =g({\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast })\\ & =in{f}_{\mathbf{x}\in D}\{f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(\mathbf{x})+\sum _{i=1}^p{v}_i^{\ast }{h}_i(\mathbf{x})\}\\ & \le f_0({\mathbf{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i({\mathbf{x}}^{\ast })+\sum _{i=1}^p{v}_i^{\ast }{h}_i({\mathbf{x}}^{\ast })\\ & \le f_0({\mathbf{x}}^{\ast })\end{array}$$因此，上述不等式在$p^{\ast }=d^{\ast }$下，等号恒成立，即$$\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i({\mathbf{x}}^{\ast })=0$$又${\lambda }_i\ge 0,f_i(\mathbf{x})\le 0$，故有$${\lambda }_i^{\ast }{f}_i({\mathbf{x}}^{\ast })=0，i=1,...,m$$即有$$\begin{gathered} f_i({\mathbf{x}}^{\ast })=0if{\lambda }_i^{\ast }>0 \\ {\lambda }_i^{\ast }=0if{f}_i({\mathbf{x}}^{\ast })<0 \end{gathered}$$该条件称为互补松弛条件。再考虑$in{f}_{\mathbf{x}\in D}L(\mathbf{x},{\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast })=L({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast })$，即${\mathbf{x}}^{\ast }$是$L$的全局最优解，那么其一阶偏导有$$\partial L(\mathbf{x},{\mathbf{\lambda }}^{\ast },{\mathbf{v}}^{\ast })/\partial \mathbf{x}{|}_{\mathbf{x}={\mathbf{x}}^{\ast }}=0$$该条件称为稳定性条件。
  综上，上述条件可以分为四类：
  （1）原问题的可行性；
  （2）对偶问题的可行性；
  （3）互补松弛条件；
  （4）稳定性条件。
上述条件称为KKT条件。
  KKT条件是一个必要条件，即优化问题与对偶问题强对偶时必须满足KKT条件。而当原问题是凸问题，各个函数可微，且强对偶时，则KKT条件为充要条件。
  考虑凸优化问题的可行解$\hat{\mathbf{x}},\hat{\mathbf{\lambda }},\hat{\mathbf{v}}$满足KKT条件，则$$\begin{gathered} f_i(\hat{\mathbf{x}})\le 0,i=1,..,m \\ {h}_i(\hat{\mathbf{x}})=0,i=1,..,m \\ {\hat{\lambda }}_i\ge 0,i=1,...,m \end{gathered}$$则有$$\begin{array}{rl}L(\mathbf{x},\hat{\mathbf{\lambda }},\hat{\mathbf{v}})& =f_0(\mathbf{x})+\sum _{i=1}^m{\hat{\lambda }}_i{f}_i(\mathbf{x})+\sum _{i=1}^p\widehat{v_i}{h}_i(\mathbf{x})\end{array}$$是一个凸函数的非负加权和，即依然为凸函数，根据稳定性条件，有$$\partial L(\mathbf{x},\hat{\mathbf{\lambda }},\hat{\mathbf{v}})/\partial \mathbf{x}{|}_{\mathbf{x}=\hat{\mathbf{x}}}=0$$此时，$\hat{\mathbf{x}}$便是全局最优解，则根据互补松弛条件，有$$\begin{array}{rl}g(\hat{\mathbf{\lambda }},\hat{\mathbf{v}})& =in{f}_{\mathbf{x}\in D}L(\mathbf{x},\hat{\mathbf{\lambda }},\hat{\mathbf{v}})\\ & =L(\hat{\mathbf{x}},\hat{\mathbf{\lambda }},\hat{\mathbf{v}})\\ & =f_0(\hat{\mathbf{x}})+\sum _{i=1}^m{\hat{\lambda }}_i{f}_i(\hat{\mathbf{x}})+\sum _{i=1}^p\widehat{v_i}{h}_i(\hat{\mathbf{x}})\\ & =f_0(\hat{\mathbf{x}})\end{array}$$即满足KKT条件时优化问题强对偶。
  总结斯莱特条件与KKT条件，可以概述为：凸问题未必强对偶，强对偶问题也未必是凸的，但对于强对偶问题，KKT条件是一个必要条件；而对于凸强对偶问题，KKT条件是一个充要条件。