优化问题-半正定规划（Semi-Definite Program, SDP）

背景

半正定规划（Semi-Definite Program, SDP）在MIMO无线通信相关的信号处理中具有广泛的应用，在某些场景可以分析证明SDP的得到的解释原问题的全局最优化或者次优解。因此，对其做一个简要介绍，同时其与LPQP、QCQP、SOCP的关系。

• 符号说明：$\mathbf{X}⪰0$代表PSD矩阵，$\mathbf{x}⪰0$代表列向量的每个元素均大于等于0。

SDP的两种形式

• 不等式形式：
  $$\begin{array}{ll}\min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ \text{ s.t. }& \mathbf{F}(\mathbf{x})⪯0\end{array}$$

其中$\mathbf{c}\in {\mathbb{R}}^n$，求解变量$\mathbf{x}\in {\mathbb{R}}^n$。约束条件为线性矩阵不等式。即：$$\mathbf{F}(\mathbf{x})={\mathbf{F}}_0+x_1{\mathbf{F}}_1+\cdots +x_n{\mathbf{F}}_n$$
注：若具有多个LMI约束，可以归结为只有一个LMI约束，其等价于：$\mathrm{DIAG}\left({\mathbf{F}}_1(\mathbf{x}),\dots ,{\mathbf{F}}_m(\mathbf{x})\right)⪯0$

• 标准形式：
  $$\begin{array}{cl}\min & \mathrm{Tr}(\mathbf{C}\mathbf{X})\\ \text{ s.t. }& \mathbf{X}⪰0\\ & \mathrm{Tr}\left({\mathbf{A}}_i\mathbf{X}\right)=b_i\in \mathbb{R},i=1,\dots ,m\end{array}$$
  其中，${\mathbf{A}}_i\in {\mathbb{S}}^n,\mathbf{C}\in {\mathbb{S}}^n$，变量$\mathbf{X}\in {\mathbb{S}}^n$。

注：不等式形式和标准形式是等价的，后面将证明。

QCQP和SOCP转化为SDP

引入一个重要的定理：Schur补定理。
其定义如下：
假设$\mathbf{A}\in {\mathbb{S}}_{++}^n,\mathbf{C}\in {\mathbb{S}}^m$，则当且仅当${\mathbf{S}}_{\mathbf{A}}\triangleq \mathbf{C}-{\mathbf{B}}^{\mathrm{T}}{\mathbf{A}}^{-1}\mathbf{B}⪰0$成立时有：
$$\mathbf{S}\triangleq \left[\begin{array}{cc}\mathbf{A}& \mathbf{B}\\ {\mathbf{B}}^{\mathrm{T}}& \mathbf{C}\end{array}\right]⪰0$$
反之亦然。

因此，凸二次不等式：$(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^{\mathrm{T}}(\mathbf{A}\mathbf{x}+\mathbf{b})-{\mathbf{c}}^{\mathrm{T}}\mathbf{x}-d⩽0,\forall \mathbf{x}\in {\mathbb{R}}^n$成立的充要条件是如下的LMI成立：
$$\left[\begin{array}{cc}\mathbf{I}& \mathbf{A}\mathbf{x}+\mathbf{b}\\ (\mathbf{A}\mathbf{x}+\mathbf{b}{)}^{\mathrm{T}}& {\mathbf{c}}^{\mathrm{T}}\mathbf{x}+d\end{array}\right]⪰0,\forall \mathbf{x}\in {\mathbb{R}}^n$$

• QCQP问题：
  考虑凸QCQP问题：
  $$\begin{array}{rl}\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }& {\Vert {\mathbf{A}}_0\mathbf{x}+{\mathbf{b}}_0\Vert }_2^2-{\mathbf{c}}_0^{\mathrm{T}}\mathbf{x}-d_0\\ \text{ s.t. }& {\Vert {\mathbf{A}}_i\mathbf{x}+{\mathbf{b}}_i\Vert }_2^2-{\mathbf{c}}_i^{\mathrm{T}}\mathbf{x}-d_i⩽0,i=1,\dots ,m\end{array}$$
  其上镜图形式可以表示为：
  $$\begin{array}{rl}{\min }_{\mathbf{x}\in {\mathbb{R}}^n,t\in \mathbb{R}}& t\\ \text{ s.t. }& \left[\begin{array}{cc}\mathbf{I}& {\mathbf{A}}_0\mathbf{x}+{\mathbf{b}}_0\\ {\left({\mathbf{A}}_0\mathbf{x}+{\mathbf{b}}_0\right)}^{\mathrm{T}}& {\mathbf{c}}_0^{\mathrm{T}}\mathbf{x}+d_0+t\end{array}\right]⪰0\\ & \left[\begin{array}{cc}\mathbf{I}& {\mathbf{A}}_i\mathbf{x}+{\mathbf{b}}_i\\ {\left({\mathbf{A}}_i\mathbf{x}+{\mathbf{b}}_i\right)}^{\mathrm{T}}& {\mathbf{c}}_i^{\mathrm{T}}\mathbf{x}+d_i\end{array}\right]⪰0,i=1,\dots ,m\end{array}$$
  该问题是SDP

• SOCP问题：
  同样地，对于二阶锥不等式：$\Vert \mathbf{A}\mathbf{x}+\mathbf{b}{\Vert }_2⩽{\mathbf{f}}^{\mathrm{T}}\mathbf{x}+d,\mathbf{x}\in {\mathbb{R}}^n$，其可以表示为${\mathbf{f}}^{\mathrm{T}}\mathbf{x}+d-\frac{1}{{\mathbf{f}}^{\mathrm{T}}\mathbf{x}+d}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^{\mathrm{T}}(\mathbf{A}\mathbf{x}+\mathbf{b})⩾0,\mathbf{x}\in {\mathbb{R}}^n$，根据Schur补，其等价为LMI：
  $$\left[\begin{array}{cc}\left({\mathbf{f}}^{\mathrm{T}}\mathbf{x}+d\right){\mathbf{I}}_m& \mathbf{A}\mathbf{x}+\mathbf{b}\\ (\mathbf{A}\mathbf{x}+\mathbf{b}{)}^{\mathrm{T}}& {\mathbf{f}}^{\mathrm{T}}\mathbf{x}+d\end{array}\right]⪰0,\mathbf{x}\in {\mathbb{R}}^n$$

SDP在组合优化中的应用

考虑如下的Boolean二次规划（BQP）问题：
$$\begin{array}{rl}\max & {\mathrm{x}}^{\mathrm{T}}\mathbf{C}\mathbf{x}\\ \text{ s.t. }& x_i\in \{-1,+1\},i=1,\dots ,n\text{ (即 }\mathbf{x}\in \{-1,+1{\}}^n)\end{array}$$
分析：当$\mathbf{C}⪰0$时，该目标函数为凸函数，但约束问题等于非仿射射约束$x_i^2=1,i=1,\dots ,n$，故该问题是非凸的。青桔发求解BQP的复杂度是$2^n$。接下来将以此为例子讨论如何通过半正定松弛（Semi-Definite Relaxation, SDR）求解BQP问题。

首先引入如下辅助变量：$\mathbf{X}={\mathbf{x}\mathbf{x}}^{\mathbf{T}}$，原BQP问题等价为：
$$\begin{array}{rl}\underset{\mathbf{x},\mathbf{X}}{\max }& \mathrm{Tr}(\mathbf{C}\mathbf{X})\\ \text{ s.t. }& \mathbf{X}={\mathbf{x}\mathbf{x}}^{\mathrm{T}}\\ & [\mathbf{X}{]}_{ii}=1,i=1,\dots ,n\end{array}$$

分析$\mathbf{X}={\mathbf{x}\mathbf{x}}^{\mathbf{T}}$（$\mathbf{X}$是秩-1的PSD矩阵），等价于
$$\mathbf{X}={\mathrm{x}\mathrm{x}}^{\mathrm{T}}⟺\mathbf{X}⪰0\text{ 且 }\mathrm{rank}(\mathbf{X})=1$$
如果去掉秩-1约束，放松为$\mathrm{X}⪰0$（这种去掉秩-1约束的松弛方法称为：SDR），可以得到如下的SDP问题：
$$\begin{array}{rl}\max & \mathrm{Tr}(\mathbf{C}\mathbf{X})\\ \text{ s.t. }& \mathbf{X}⪰0\\ & [\mathbf{X}{]}_{ii}=1,i=1,\dots ,n\end{array}$$
该SDP问题成为前者优化问题的BQP。前者的约束集包含后者的约束集合，即SDP问题是原问题的一个下界。

如果SDP问题得以解决，其秩恰好为1，通过特征值分解：${\mathbf{X}}^{\star }={\mathbf{x}}^{\star }{\mathbf{x}}^{\star T}$可以得到原问题最优解，若秩不为1，则可以通过两种方法得到原问题的近似解：

• 秩-1近似：选$\mathbf{X}$的主特征向量$\mathbf{x}$，再利用$[\mathbf{x}{]}_i=\mathrm{sgn}\left([\tilde{\mathbf{x}}{]}_i\right)$得到近似解
• 高斯随机化：产生$L$个服从均值为$0$，协方差矩阵为${\mathbf{X}}^{\ast }$的高斯随机向量$\left\{{\mathbf{\xi }}^{(\ell )},\ell =1,\dots ,L\right\}$，再将其量化进行如下量化：${\left[{\mathbf{x}}^{(\ell )}\right]}_i=\mathrm{sgn}\left({\left[{\mathbf{\xi }}^{(\ell )}\right]}_i\right),\forall i$，最后得到$\mathbf{x}={\mathbf{x}}^{\left({\ell }^{\ast }\right)}$，其中：${\ell }^{\star }=\arg {\max }_{\ell =1,\dots ,L}{\left({\mathbf{x}}^{(\ell )}\right)}^{\mathrm{T}}\mathbf{C}{\mathbf{x}}^{(\ell )}$

注：在很多时候，高斯随机化方法得到的近似解优于秩1近似解。

SDR的一些例子

下行发送功率最小化

考虑如下下行广播信道的波束成形问题：
$$y_i={\mathbf{h}}_i^{\mathrm{T}}\mathbf{f}s+v_i,i=1,\dots ,n$$
承载信号$s\in \mathbb{C}$满足：$\mathbb{E}\left\{|s{|}^2\right\}=1$

该问题对发射功率最小化，并保证每个接收端的SNR不小于阈值${\gamma }_0$，即：
$${\gamma }_i=\frac{{\left|{\mathbf{h}}_i^{\mathrm{T}}\mathbf{f}\right|}^2}{{\sigma }_i^2}⩾{\gamma }_0,i=1,\dots ,n$$
有：${\left|{\mathbf{h}}_i^{\mathrm{T}}\mathbf{f}\right|}^2=\left({\mathbf{h}}_i^{\mathrm{T}}\mathbf{f}\right){\mathbf{f}}^{\mathrm{H}}{\mathbf{h}}_i^{\ast }=\mathrm{Tr}\left({\mathbf{f}\mathbf{f}}^{\mathrm{H}}{\mathbf{h}}_i^{\ast }{\mathbf{h}}_i^{\mathrm{T}}\right)$，令 ${\mathbf{Q}}_i={\mathbf{h}}_i^{\ast }{\mathbf{h}}_i^{\mathrm{T}}/\left({\gamma }_0{\sigma }_i^2\right)$，有优化问题如下：
$$\begin{array}{rl}\min & \Vert \mathbf{f}{\Vert }_2^2\\ \text{ s.t. }& \mathrm{Tr}\left(\mathbf{f}{\mathbf{f}}^{\mathrm{H}}{\mathbf{Q}}_i\right)⩾1,i=1,\dots ,n\end{array}$$
该问题非凸，并且是NP-hard的。原问题等价为：
$$\begin{array}{rl}\underset{\mathbf{f}\in {\mathbb{C}}^m,\mathbf{F}\in {\mathbb{H}}^m}{\min }& \mathrm{Tr}(\mathbf{F})\\ \text{ s.t. }& \mathbf{F}={\mathbf{f}\mathbf{f}}^{\mathrm{H}},\mathrm{Tr}\left(\mathbf{F}{\mathbf{Q}}_i\right)⩾1,i=1,\dots ,n\end{array}$$
利用SDR近似，有：
$$\begin{array}{ll}\min & \mathrm{Tr}(\mathbf{F})\\ \text{ s.t. }& \mathbf{F}⪰0,\mathrm{Tr}\left(\mathbf{F}{\mathbf{Q}}_i\right)⩾1,i=1,\dots ,n\end{array}$$

在RIS 、HBF中也有诸多应用，但是基本的原理万变不离其宗，太多例子，不再赘述。