凸优化学习笔记 13：KKT条件 & 互补性条件 & 强对偶性

前面我们讲了凸优化问题、对偶原理、拉格朗日函数、KKT 条件，还从几何角度解释了强对偶性，那么这一节将从代数角度解释强对偶性。

有需要的话可以参考前面两节内容
凸优化学习笔记 10：凸优化问题
凸优化学习笔记 11：对偶原理
凸优化学习笔记 12：KKT条件

1. LP / SOCP / SDP

在此之前我们先回顾一下比较重要的三类凸优化问题：LP、SOCP、SDP，为什么这么说呢？因为本质上这三类问题非常相似。我们先来回顾一下三类问题
$$\begin{array}{rl}LP:\text{minimize}& c^{T}x\\ \text{subject to}& Ax=b\\ & x⪰0(★)\\ SOCP:\text{minimize}& c^{T}x\\ \text{subject to}& Ax=b\\ & {\Vert \bar{x}\Vert }_2\le x_0⟺x=(x_0,\bar{x}){⪰}_{Q}0(★)\\ SDP:\text{minimize}& ⟨C,X⟩\triangleq tr(CX)X\in S^n\\ \text{subject to}& A(X)=b\\ & X⪰0(★)\end{array}$$

注：上面 SDP 中定义了矩阵内积 $⟨C,X⟩\triangleq tr(CX)$，这跟向量内积非常类似，而且可以交换 $⟨C,X⟩=⟨X,C⟩$；还定义了算子 $A(X)=\left(⟨A_1,X⟩,\cdots ,⟨A_n,X⟩\right)$。

上面三种凸优化问题中，不等式约束都用星号标记出来了，可以看出，他们的形式非常相似，其实都是在不同维度的正常锥里面。不过 LP 的可行域为多面体，最优解往往位于极值点，因此较为简单；但是 SOCP 的可行域则是一个多面体与一个锥的交集，同样的 SDP 和 SOCP 的可行域都是 Nonpolyhedral 的，这就使他们比 LP 要更难求解。

2. 强对偶性的代数解释

考虑 LP 问题及其对偶问题
$$\begin{array}{rl}(P):\text{minimize}& c^{T}x\\ \text{subject to}& Ax=b\\ & x⪰0\\ (D):\text{maximize}& b^{T}y\\ \text{subject to}& A^{T}y+s=c\\ & s⪰0\end{array}$$

那么原问题与对偶问题的 duality gap 就是
$$c^{T}x-b^{T}y=x^{T}s$$

我们很容易验证 $x^{T}s\ge 0$，也就是弱对偶性。如果满足 强对偶性(Strong duality) 的话，应该有
$$x^{T}s=0⟺x_i{s}_i=0,i=1,...,n$$

那么我们再来回顾一下 KKT 条件的 4 个部分：

1. Primal feasibility：$Ax=b,x\ge 0$
2. Dual feasibility：$A^{T}y+s=c,s\ge 0$
3. Complementarity：$x_i{s}_i=0,i=1,...,n$
4. 梯度条件包含在对偶可行性里面了

因此实际上利用上面 3 个约束就可以求解最优解了。对于上面的互补性条件 $x_i{s}_i=0$ 我们可以定义一个算子
$$x\circ s:=(x_1{s}_1,...,x_n{s}_n{)}^T=\text{diag}(x)s:=L_{x}s=L_x{L}_{s}1$$

它满足 $x\circ 1=x$。这里其实只是定义了一个新的符号，并没有引入新的东西，之所以这么做是为了与后面的 SOCP、SDP 统一起来用类似的符号表示，便于计算机进行优化计算。

现在我们再来看看 SOCP 问题
$$\begin{array}{rl}(P):\text{minimize}& c^{T}x\\ \text{subject to}& Ax=b\\ & x{⪰}_{Q}0\\ (D):\text{maximize}& b^{T}y\\ \text{subject to}& A^{T}y+s=c\\ & s{⪰}_{Q}0\end{array}$$

Remarks：注意 二阶锥(Second order cone) 的对偶锥还是其自身。

对偶锥是其自身怎么直观理解呢？大家想象三维中的这样一个锥，我们任取一个过锥的顶点$(0,0,0)$的竖直平面，切出来的是应该一个直角吧。那么假如说我们考虑任意的锥呢？切出来的这个角如果不是直角，假如是钝角，那么他的对偶锥一定不是其自身，要比自身“小”，锐角也类似。这里提到这个直观理解在后面会用到。

同样的我们可以得到 dualligity gap 为
$$x^{T}s=c^{T}x-b^{T}y\ge 0$$

如果想得到强对偶性则需要
$$\begin{array}{rl}& x^{T}s=0,x{⪰}_{Q}0,s{⪰}_{Q}0\\ ⟺& x_0{s}_i+x_i{s}_0=0,i=1,...,n\\ ⟺& x_0\bar{s}+s_0\bar{x}=0\end{array}$$

上面这个证明可以利用 Cauchy-Schwarz 不等式 $x^{T}s=x_0{s}_0+{\sum }_i{x}_i{s}_i\ge 0$，取等条件即为上式。这从几何角度理解就如下图，其中 $x,s$ 为正交的，而且他们向后 $R^n$ 维子空间的投影 $\bar{x},\bar{s}$ 是反向平行的。

Remarks：$x,s$ 均为锥 $Q$ 当中的向量，二者内积为 0，则表明他们相互正交。假如我们固定了 $x$，$x$ 作为法向量定义了一个超平面 $A$，超平面内的任意一个向量都应垂直于 $x$，所里直观理解的话 $x$ 应该有无穷多个单位正交向量。但是根据上面的结果，$s=(s_0,s_0\bar{x}/x_0)$ 只有一个方向，这说明锥 $Q$ 内部只有一个方向上的向量与 $x$ 正交！也就是说超平面 $A$ 与锥 $Q$ 的交集是一条线，实际上就是说 $A$ 与 $Q$ 相切！

再回想一下我们前面提到这个锥 $Q$ 的顶角应该是一个直角，假如 $x$ 位于 $Q$ 的内部（不在边界上），那么 $A\cap Q=\{(0,0,0)\}$，只有一个点，$s$ 也就不存在。所以如果想要 $x^{T}s=0$ 有非零解，就一定要求 $x$ 在 $Q$ 的边界上，这个时候实际上就有 $x_0=\Vert \bar{x}\Vert ,s_0=\Vert \bar{s}\Vert$ 。这一点很容易从我们上面的式子 $x_0{s}_i+x_i{s}_0=0$ 得到验证。

同样得回顾一下 KKT 条件

1. $Ax=b,x{⪰}_{Q}0$
2. $A^{T}y+s=c,s{⪰}_{Q}0$
3. $x^{T}s=0,x_0{s}_i+x_i{s}_0=0$

这里再定义一个算子
$$x\circ s=\left(\begin{array}{c}{x}_0\\ x_1\\ ⋮\\ x_n\end{array}\right)\circ \left(\begin{array}{c}{s}_0\\ s_1\\ ⋮\\ s_n\end{array}\right)=\left(\begin{array}{c}{x}^{\top }s\\ x_0{s}_1+s_0{x}_1\\ ⋮\\ x_0{s}_n+s_0{x}_n\end{array}\right)$$

为了简化表示可以写成下面的形式，这样跟 LP 就统一了。
$$\begin{gathered} L_x=\mathrm{Arw}(x)=\left(\begin{array}{ll}{x}_0& {\bar{x}}^{\top }\\ \bar{x}& x_{0}I\end{array}\right) \\ x\circ s=\mathrm{Arw}(x)s=\mathrm{Arw}(x)\mathrm{Arw}(s)e \end{gathered}$$

算子满足性质

1. $x\circ s=s\circ x$
2. $x\circ (x\circ x)=(x\circ x)\circ x$
3. $x\circ \left(x^2\circ y\right)=x^2\circ (x\circ y)$
4. $e=(1,0,...,0{)}^T,x\circ e=x$

但是注意不满足结合律 $x\circ (y\circ z)\ne (x\circ y)\circ z$ 。

最后我们再来看看 SDP 问题及其对偶问题
$$\begin{array}{rl}(P):\text{minimize}& ⟨C,X⟩\\ \text{subject to}& ⟨A_i,X⟩=b_i,i=1,...,m\\ & X⪰0\\ (D):\text{minimize}& b^{T}y\\ \text{subject to}& \sum _i{y}_i{A}_i+S=C\\ & S⪰0\end{array}$$

同样的 duality gap 为
$$\begin{array}{rl}⟨X,S⟩& =⟨C,X⟩-b^{T}y\\ & =⟨X,S^{1/2}{S}^{1/2}⟩=⟨S^{1/2}X,S^{1/2}⟩\ge 0\end{array}$$

强对偶性则要求
$$X⪰0,S⪰0,⟨X,S⟩=0⟺XS=0⟺\frac{XS+SX}{2}=0$$

证明：$⟨X,S⟩=⟨S^{1/2}{X}^{1/2},X^{1/2}{S}^{1/2}⟩=0⟺X^{1/2}{S}^{1/2}=0$

为了简化表达，我们再定义一个算子 $X\circ S=\frac{XS+SX}{2}$，它满足以下性质

1. $X\circ S=S\circ X$
2. $X\circ (X\circ X)=(X\circ X)\circ X$
3. $X\circ \left(X^2\circ Y\right)=X^2\circ (X\circ Y)$
4. $X\circ I=X$

注意不满足结合律 $X\circ (Y\circ Z)\ne (X\circ Y)\circ Z$

再来复习一下 KKT 条件

1. $⟨A_i,X⟩=b_i$
2. ${\sum }_i{y}_i{A}_i+S=C$
3. $X\circ S=0$

最后我们总结一下

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
凸优化专栏
凸优化学习笔记 1：Convex Sets
凸优化学习笔记 2：超平面分离定理
凸优化学习笔记 3：广义不等式
凸优化学习笔记 4：Convex Function
凸优化学习笔记 5：保凸变换
凸优化学习笔记 6：共轭函数
凸优化学习笔记 7：拟凸函数 Quasiconvex Function
凸优化学习笔记 8：对数凸函数
凸优化学习笔记 9：广义凸函数
凸优化学习笔记 10：凸优化问题
凸优化学习笔记 11：对偶原理
凸优化学习笔记 12：KKT条件