半正定松弛法（SDR）2021-11-06

@[TOC](半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题（QCQP）)

SDR适用问题的表现形式

$$\begin{gathered} \underset{x\in {\mathbb{R}}^n}{\min }{x}^{T}Cx \\ \mathrm{s}.\mathrm{t}.x^T{A}_{i}x{⊵}_i{b}_i,i=1,\cdots ,m, \end{gathered}$$

• 该问题定义在实数域 ${\mathbb{R}}^n$，复数域类似。
• ${⊵}_i$ 可以表示为 $\ge$, $\le$, $=$，只要约束条件是二次约束即可。
• $C$, $A_i$ 都是对称矩阵，$C,A_i(i=1,\cdots ,m)\in {\mathbb{S}}^n$。
• 因为目标函数和约束条件中都有两个$x$，所以该类问题也称为 二次约束二次规划(quadratically constrained quadratic programs, QCQP) 问题，需要注意的是， QCQP并不是一个凸问题，因为 $x^T{A}_{i}x\ge 0$ 与 $x^T{A}_{i}x=0$时可行域并不是一个凸集。

SDR处理

• SDR方法就是将问题转化为一个凸问题从而求解。SDR 本身的性能是次优的。
  引入一个新的变量 $X=x{x}^T$ 作为优化变量， 那么上述问题可以被写为
  $$\begin{gathered} \underset{X\in {\mathbb{S}}^n}{\min }\mathrm{T}\mathrm{r}(CX) \\ \mathrm{s}.\mathrm{t}.\mathrm{T}\mathrm{r}(A_{i}X){⊵}_i{b}_i,i=1,\cdots ,m, \\ X⪰0,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1. \end{gathered}$$
• 该问题是SDR可处理问题的标准形式。
• 注意到目标函数$x^{T}Cx$是一个标量，标量可以看成一个 1 × 1 的矩阵， 且迹等于本身，即 $\mathrm{T}\mathrm{r}(x^{T}Cx)=x^{T}Cx$ 。 根据迹的性质， 有 $\mathrm{T}\mathrm{r}(AB)=\mathrm{T}\mathrm{r}(BA)$ 推到的 $\mathrm{T}\mathrm{r}(ABC)=\mathrm{T}\mathrm{r}(BAC)=\mathrm{T}\mathrm{r}(BCA)$。应用该性质 $\mathrm{T}\mathrm{r}(x^{T}Cx)=\mathrm{T}\mathrm{r}(Cx{x}^T)$，这也就变成了目标函数$\mathrm{T}\mathrm{r}(CX)$。同理，约束条件也可以根据相同的变换得到。
• 相比于上述问题，该问题多了两个约束，是由于 $X=x{x}^T$ 引入的。$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$ 是因为所有的 $X$ 的列都是线性相关的，所以，只有一个特征值等于 $x^{T}x$，显然是大于0的，所以肯定是半正定矩阵。
• 由于迹函数是个仿射变换，所以迹函数约束是个凸约束。 而半正定约束也是凸约束，因为其可行域显然是个凸集， 因为两个半正定矩阵的和一定也是一个半正定矩阵。因此除了 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$ 这个限制以外， 整个问题是一个凸问题（所以经过半定松弛处理的凸问题可以用CVX求解）。

工程处理

工程上很自然的处理办法就是暂时忽略 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$ 约束（松弛掉秩为1的约束），并通过凸优化方法（以CVX工具为代表的的内点法数值算法）来求解出一个$X$。

• 问题的关键点在于，我们要求得的是 $x$ 而不是 $X$。如果通过凸优化刚好求得的$X$ 刚好就是一个 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$ 的矩阵，那么 $x$ 可以通过 SVD/EVD 求得。
• 但更多时候，X 并不是 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=1$ 的矩阵时，那么从工程实现角度上可以通过求解下列问题求得 $x$
  $$\underset{x}{\min }\Vert X-x^{T}x{\Vert }_F^2$$
  即找一个最接近 $X$ 的 $x^{T}x$。 这个问题很经典了，而它的闭式解就是 $x$ 是$X$ 的最大特征向量乘以最大特征值的平方根， 即，将 $X$ 的特征值分解表示为：
  $$X^{\ast }=\sum _{i=1}^r{\lambda }_i{q}_i{q}_i^T$$
  其中 ${\lambda }_i$，$q_i$ 代表第 $i$ 大的特征值和特征向量，那么问题的最优解 $x=x^{\ast }=\sqrt{{\lambda }_1}{q}_1$。但是，问题又出现了！ 虽然 $X$ 满足所有的约束， 但由于在这一步中求得的 $X^{\ast }$ 是一个近似的结果。 此时得到的 $X$ 不一定满足原问题中的约束！ 也就是说， 经过一顿转化之后， 求得的 $X$ 并不是原问题的可行解！此时怎么办呢？ 解决方案也非常符合工程思维：直接从 $x$ 出发找一个离 $x$ 最近的可行解， 这就是SDR的最终结果。
  需要注意的两点：
• 直接从$x$出发找一个离$x$最近的可行解， 这本身就是一个独立的问题， 具体问题具体分析。
• 在SDR中有许许多多的近似，工程处理，因此 SDR的解远非全局最优解。
• 从SDR解 $X$ 获得原问题可行解的一种经典思路：SDR + Gaussian Randomization. 这种处理相比于上面提到的直接寻找欧氏距离最近的 $x$，会有通过复杂度提升换来的一定性能增益。（Gaussian Randomization 会尝试更多可能的 $x$，通过遍历更多解来获得更好的性能）

两个工程应用实例

将SDR方法应用到通信设计中的两个工程应用实例：

1. HBF混合波束成形的经典论文 《Alternating Minimization Algorithms for Hybrid Precoding in Millimeter Wave MIMO Systems》，使用SDR处理思路和过程 点击转到链接: 实例2，作者 Xianghao Yu 博士给出的代码 点击转到代码链接: 主函数为 SDR-Altmin
2. 智能反射面相关论文《Intelligent Reflecting Surface Enhanced Wireless Network: Joint Active and Passive Beamforming Design》中， 对于passive beamforming 的设计点击转到链接: 实例2 。以武庆庆老师的该论文背景， 求解其 (P4) 所写，MATLAB代码如下：

Nt = 16;
M = 4;
L = 100; % number of Gaussian randomizations
G = sqrt(2) / 2 * (randn(M, Nt) + 1j * randn(M, Nt));
hr = sqrt(2) / 2 * (randn(M, 1) + 1j * randn(M, 1));
hd = sqrt(2) / 2 * (randn(Nt, 1) + 1j * randn(Nt, 1));
phi = diag(hr') * G;

R = [phi * phi' phi * hd; hd' * phi' 0];

cvx_begin sdp quiet
variable V(M+1, M+1) hermitian
maximize(real(trace(R*V)));
subject to
diag(V) == 1;
V >= 0;
cvx_end

%% method 1
max_F = 0;
max_v = 0;
[U, Sigma] = eig(V);
for l = 1 : L
    r = sqrt(2) / 2 * (randn(M+1, 1) + 1j * randn(M+1, 1));
    v = U * Sigma^(0.5) * r;
    if v' * R * v > max_F
        max_v = v;
        max_F = v' * R * v;
    end
end

v = exp(1j * angle(max_v / max_v(end)));
v = v(1 : M);
v' * phi * phi' * v

%% method 2
max_F = 0;
max_v = 0;
[U, Sigma] = eig(V);
for l = 1 : L
    r = sqrt(2) / 2 * (randn(M+1, 1) + 1j * randn(M+1, 1));
    v = U * Sigma^(0.5) * r;
    v = exp(1j * angle(v / v(end)));
    v = v(1 : M);
    if v' * phi * phi' * v > max_F
        max_v = v;
        max_F = v' * phi * phi' * v;
    end
end
max_v' * phi * phi' * max_v

%% method 3  element iteration
T = phi * phi';
v = sqrt(2) / 2 * (randn(M, 1) + 1j * randn(M, 1));
for n = 1 : 10
    for i = 1 : M
        tmp = 0;
        for j = 1 : M
            if i~= j
                tmp = tmp + T(i,j) * v(j);
            end
        end
        v(i) = exp(1j * angle(tmp));
    end
end
v' * phi * phi' * v

感谢CSDN优质博主 “B417科研笔记” 的学习分享。

参考资料

【1】Zhi-quan Luo 老师的经典著作 《Semidefinite Relaxation of Quadratic Optimization Problems》
【2】https://blog.csdn.net/weixin_39274659/article/details/117627627
【3】https://blog.csdn.net/weixin_39274659/article/details/121619619
【4】《 Alternating Minimization Algorithms for Hybrid Precoding in Millimeter Wave MIMO Systems》
【5】《Intelligent Reflecting Surface Enhanced Wireless Network: Joint Active and Passive Beamforming Design》