经典的SDR算法（下）：SDR的具体使用细节与相关代码

前言

在上一篇博客 经典的SDR算法： 用半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题 我们介绍了SDR算法的基本思想。 本文中， 我们重点再针对SDR具体使用时的细节进行阐述。 这里简单回顾下， 原QCQP问题为：
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& x^{T}Cx\\ \text{ s.t. }& x^T{A}_{i}x{⊵}_i{b}_i,i=1,\dots ,m\end{array}\text{\hspace{1em}(1)}$$
通过引入一个新的变量 $X=x{x}^T$， 并以此为优化变量， 那么问题(1)可以被写为：
$$\begin{array}{rl}\underset{X\in {\mathbb{S}}^n}{\min }& \mathrm{Tr}(CX)\\ \text{ s.t. }& \mathrm{Tr}\left(A_{i}X\right){⊵}_i{b}_i,i=1,\dots ,m,\\ & X⪰0,\mathrm{rank}(X)=1\end{array}\text{\hspace{1em}(2)}$$
再通过放松掉 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$限制后， 可以直接使用CVX求解这一凸问题， 得到最优解 $X^{\star }$。 这一篇博客我们主要围绕 如何从一个并不满足秩为1的矩阵$X^{\star }$中， 恢复出原QCQP问题所需要的向量$x$。

EVD分解

一种最直观的想法就是， 要从 $X^{\star }$ 中恢复 $x$， 可以通过求解如下的问题：
$$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& \Vert X^{\star }-x{x}^T{\Vert }_F^2\end{array}$$
来获得一个次优解。 而这个问题的最优解， 则由 $x$ 等于 $X^{\star }$ 的 最大 特征向量 乘以 最大特征值的 根 给出。对应的matlab代码为：

 [V,D] = eig(X);
 [value,num] = max(diag(D));
 x = sqrt(value)*V(:,num);

因此 对 $X^{\star }$ 做 EVD 分解得到其最大特征向量， 则是一种直截了当的 SDR恢复方式。 在 Xianghao Yu 博士的经典论文 Alternating Minimization Algorithms for Hybrid Precoding in Millimeter Wave MIMO Systems 中 的 SDR算法部分， 使用的就是 EVD分解的方式。

这里插一段和主题看上去不太有关的话， 就是这个问题，为什么最优解是 最大特征向量？ 可以延伸到一个更general的问题， 即低秩矩阵近似问题：
$$\begin{array}{rl}\underset{Z\in {\mathbb{R}}^{M\times L}}{\min }& \Vert X-Z{\Vert }_F^2\\ \text{ s.t. }& \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Z)\le N\end{array}$$
那么上面的问题， 就是现在这个低秩矩阵近似问题的$N=1$ 时的特例。 ($\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Z)=1$ 的可行集 和 $x{x}^T$的值域是一致的。) 我们首先可以将$Z$拆分为 $Z=CY$, 其中$C\in {\mathbb{R}}^{M\times N}$ 且 $C^{T}C=I$, $Y\in {\mathbb{R}}^{N\times L}$。此时可以把优化问题等价转化为：

$$(C^{\star },Y^{\star })=\arg \underset{C^{T}C=I}{\min }\{\underset{Y}{\min }\Vert CY-X{\Vert }_F^2\}$$

这里用到了两个结论， 以至于两个问题是完全等价的， 即 $Z^{\star }=C^{\star }{Y}^{\star }$。 首先是$Z$ 和 $CY$ 的值域完全一致， 拆分不损失最优性。 其次， 有如下结论：
$$\underset{y,z}{\inf }f(y,z)=\underset{y}{\inf }\{\underset{z}{\inf }f(y,z)\}.$$
这使得我们可以先固定 $C$ 求取 $Y$ 的闭式解。 而这时， 问题对于 单变量$C$或 $Y$ 而言，都是凸问题， 因此可以简单地使用求导为0的方式求取。 得到：
$$\begin{gathered} C^{\star }=\arg \underset{C^{T}C=I}{\min }\mathrm{t}\mathrm{r}((I-C{C}^T)X{X}^T) \\ {Y}^{\star }=C^{\star }X \end{gathered}$$
那么问题就变为：
$$\arg \underset{C^{T}C=I}{\min }\mathrm{t}\mathrm{r}(-CX{X}^T{C}^T)$$
这就是瑞利熵问题， 其解就是由 $X{X}^T$的最大的几个特征向量为列组成的矩阵。 关于瑞利熵问题， 我们已经在瑞丽熵 (Rayleigh quotient) 两种启发式证明 中进行了讲述。

高斯随机化

EVD分解法虽然简单， 但显然有着较高的误差，从而带来不可避免的损失。 那么类似于常见于梯度下降法中， 使用多组随机初始点，再挑选性能最优的作为解 这样的 “枚举思想”， SDR也有类似的并不高明但行之有效的性能优化手段。

其做法为： 生成 $L$ 组随机向量
$${\xi }_{\ell }\sim N\left(0,X^{\star }\right)\text{\hspace{1em}(3)}$$
然后再取 ${\xi }^{\star }=\arg {\min }_{\ell }{\xi }_{\ell }^{T}C{\xi }_{\ell }$.
但需要指出的是， 如果 ${\xi }_l$ 不满足原QCQP问题中的约束， 那么需要进行稍微的“魔改”，使得满足原限制条件。 如假设原问题要求 $x_i^2=1$, 这常出现在二元检测中。 那么此时， 我们先要对 (3) 中生成的 ${\xi }_{\ell }$进行如下操作：
$$[{\xi }_{\ell }{]}_i=\mathrm{s}\mathrm{g}\mathrm{n}([{\xi }_{\ell }{]}_i)$$
再求其所得的函数值。 可以看出， 针对不同的问题， 我们可能需要不同的“魔改”。 另一个例子， 如果原问题的限制条件为 $x^T{A}_{i}x\ge 1,\forall i$, 那么我们需要进行的操作就是：
$$\xi =\frac{\xi }{\sqrt{{\min }_i{\xi }^T{A}_i\xi }}$$
可见，作为一种启发式算法， 魔改的方式不唯一， 也不固定， 核心要义是要随机出来的向量能满足原问题的限制条件。 再比如大家很关心的在HBF问题和IRS问题中大放异彩的 恒模约束， 魔改方式可以为：
$$[{\xi }_{\ell }{]}_i=\frac{[{\xi }_{\ell }{]}_i}{|[{\xi }_{\ell }{]}_i|}$$

总结以下流程：

• 求解SDP问题得到 $X^{\star }$
• 生成 $L$ 组 ${\xi }_{\ell }\sim N\left(0,X^{\star }\right)$
• 将 ${\xi }_{\ell }$ 魔改为 原 QCQP问题的可行解
• ${\xi }^{\star }=\arg {\min }_{\ell }{\xi }_{\ell }^{T}C{\xi }_{\ell }$
• $x={\xi }^{\star }$

那么matlab代码方面， 关键点则在于 如何生成 一个 服从 $N\left(0,X^{\star }\right)$ 的向量呢？
我们知道， v = randn(n)可以得到一个 服从$N\left(0,I\right)$ 的 $n$ 维向量 $v$。 那现在我们对它进行乘法操作 $v=Av$， 其分布则变为： $N\left(0,A{A}^H\right)$。 也就是说， 我们只需要找到能使得 $A{A}^H=X^{\star }$ 的 $A$， 就可以轻松地使用 $v=Av$ 获得 满足分布的 $v$ 向量了。 而获得这样的 A, 则只需要对 $X^{\star }$ 做 Cholesky 分解即可， 对一个半正定矩阵 $X$ 作该分解为：
$$\mathbf{X}=\mathbf{L}{\mathbf{L}}^H$$
那么具体的代码就可以如下给出：

for i = 1 : L
	v = randn(n);
	A = chol(Xstar); # chol 是内置matlab函数， 得到的是 L^H
	V(:, i) = A' * v;
end

再举一篇论文的实例， 作为本节的结束。 在论文 Intelligent Reflecting Surface Enhanced Wireless Network: Joint Active and Passive Beamforming Design 中， 作者给出了一种 高斯随机化的方法。 其原问题为：
$$\begin{array}{cl}{\max }_{\bar{v}}& {\overline{\mathbf{v}}}^H\mathbf{R}\bar{v}\\ \text{ s.t. }& \left|{\bar{v}}_n\right|=1,\forall n=1,\cdots ,N+1\end{array}$$
SDR 问题为：
$$\begin{array}{cl}{\max }_{\mathbf{V}}& \mathrm{tr}(\mathbf{R}\mathbf{V})\\ \text{ s.t. }& {\mathbf{V}}_{n,n}=1,\forall n=1,\cdots ,N+1\\ & \mathbf{V}⪰0\end{array}$$

而他的做法是， 求出 $V$后， 对其作 EVD分解 得到 $\mathbf{V}=\mathbf{U}\Sigma {\mathbf{U}}^H$， 然后获得向量 $\bar{\mathbf{v}}=\mathbf{U}{\Sigma }^{1/2}\mathbf{r}$, 其中 $\mathbf{r}\in \mathcal{C}\mathcal{N}\left(0,{\mathbf{I}}_{N+1}\right)$。 再从由不同的 $\mathbf{r}$得到的所有 $\bar{\mathbf{v}}$ 中， 选出最大化 ${\overline{\mathbf{v}}}^H\mathbf{R}\bar{\mathbf{v}}$ 的 $\bar{\mathbf{v}}$， 最后再人为地将 $\mathbf{v}=e^{j\arg \left({\left[\frac{\bar{v}}{{\bar{v}}_{N+1}}\right]}_{(1:N)}\right)}$， 即满足恒模约束。

其实在 $\mathbf{V}=\mathbf{U}\Sigma {\mathbf{U}}^H$ 中， 作者得到的 $\bar{\mathbf{v}}$ 满足的分布就是 $\mathcal{C}\mathcal{N}\left(0,\mathbf{V}\right)$， 这和我们刚刚说的高斯随机化的思想是一致的。 重要的差别在于， 罗老师原作中提到的方法应该是 先魔改， 再选最优。 而这篇paper中却是先求最优， 再魔改。 这是一点小小的区别。

代码

这里给大家推荐一份代码， 就是上一篇博客和本文中都提到的 Alternating Minimization Algorithms for Hybrid Precoding in Millimeter Wave MIMO Systems 一文作者 Xianghao Yu 博士给出的代码，
https://github.com/yuxianghao/Alternating-minimization-algorithms-for-hybrid-precoding-in-millimeter-wave-MIMO-systems
主函数为 SDR-Altmin. 当然在使用前， 需要自行前往 CVX 官网先下载安装 CVX 包， 由于相关安装教程已非常详尽， 便不再赘述。 这里简单摘录其中的SDR代码部分，可供参考：

cvx_begin quiet
        variable X(Ns*NRF+1,Ns*NRF+1) hermitian
        minimize(real(trace(C*X)));
        subject to
            trace(A1*X) == NRF*Ns;
            trace(A2*X) == 1;
        X == hermitian_semidefinite(Ns*NRF+1);
    cvx_end
    
 [V,D] = eig(X);
 [value,num] = max(diag(D));
x = sqrt(value)*V(:,num);

然后是一份我自己写的代码， 主要是以武庆庆老师的 Intelligent Reflecting Surface Enhanced Wireless Network: Joint Active and Passive Beamforming Design 为背景， 求解其 (P4) 所写的。 问题如下：
$$\begin{array}{rl}\text{ (P4) : }& \underset{\bar{v}}{\max }{\bar{v}}^H\mathbf{R}\bar{v}\\ \text{ s.t. }& \left|{\bar{v}}_n\right|=1,\forall n=1,\cdots ,N+1,\end{array}$$
在代码中，我使用了SDR方法，分为两种，分别对应上面所说的两种高斯随机化的方案。 又使用了元素迭代的方法作为对比， 思想就是每次固定向量的其他元素而单独优化一个元素。 最后的性能显示， 两种高斯随机化的方案性能差不多， 而元素迭代算法的性能是最好的。

代码如下：

Nt = 16;
M = 4;
L = 100; % number of Gaussian randomizations
G = sqrt(2) / 2 * (randn(M, Nt) + 1j * randn(M, Nt));
hr = sqrt(2) / 2 * (randn(M, 1) + 1j * randn(M, 1));
hd = sqrt(2) / 2 * (randn(Nt, 1) + 1j * randn(Nt, 1));
phi = diag(hr') * G;

R = [phi * phi' phi * hd; hd' * phi' 0];

cvx_begin sdp quiet
variable V(M+1, M+1) hermitian
maximize(real(trace(R*V)));
subject to
diag(V) == 1;
V >= 0;
cvx_end

%% method 1
max_F = 0;
max_v = 0;
[U, Sigma] = eig(V);
for l = 1 : L
    r = sqrt(2) / 2 * (randn(M+1, 1) + 1j * randn(M+1, 1));
    v = U * Sigma^(0.5) * r;
    if v' * R * v > max_F
        max_v = v;
        max_F = v' * R * v;
    end
end

v = exp(1j * angle(max_v / max_v(end)));
v = v(1 : M);
v' * phi * phi' * v

%% method 2
max_F = 0;
max_v = 0;
[U, Sigma] = eig(V);
for l = 1 : L
    r = sqrt(2) / 2 * (randn(M+1, 1) + 1j * randn(M+1, 1));
    v = U * Sigma^(0.5) * r;
    v = exp(1j * angle(v / v(end)));
    v = v(1 : M);
    if v' * phi * phi' * v > max_F
        max_v = v;
        max_F = v' * phi * phi' * v;
    end
end
max_v' * phi * phi' * max_v

%% method 3  element iteration
T = phi * phi';
v = sqrt(2) / 2 * (randn(M, 1) + 1j * randn(M, 1));
for n = 1 : 10
    for i = 1 : M
        tmp = 0;
        for j = 1 : M
            if i~= j
                tmp = tmp + T(i,j) * v(j);
            end
        end
        v(i) = exp(1j * angle(tmp));
    end
end
v' * phi * phi' * v