【老生谈算法】matlab实现压缩感知重构算法之正则化正交匹配追踪(ROMP)——ROMP

matlab压缩感知重构算法之正则化正交匹配追踪(ROMP)

---

1、文档下载：

本算法已经整理成文档如下，有需要的朋友可以点击进行下载

序号	文档（点击下载）
本项目文档	【老生谈算法】贪婪算法中ROMP算法的原理介绍及MATLAB仿真.docx

---

2、算法详解：

正交匹配追踪算法每次迭代均只选择与残差最相关的一列，自然人们会想：“每次迭代是否可以多选几列呢?”，正则化正交匹配追踪(RegularizedOMP)就是其中一种改进方法。本篇将在上一篇《压缩感知重构算法之正交匹配追踪(OMP)》的基础上给出正则化正交匹配追踪(ROMP)算法的MATLAB函数代码，并且给出单次测试例程代码、测量数M与重构成功概率关系曲线绘制例程代码。

0、符号说明如下：
压缩观测y=Φx，其中y为观测所得向量M×1，x为原信号N×1（M< (1) y为观测所得向量，大小为M×1
(2)x为原信号，大小为N×1
(3)θ为K稀疏的，是信号在x在某变换域的稀疏表示
(4)Φ称为观测矩阵、测量矩阵、测量基，大小为M×N
(5)Ψ称为变换矩阵、变换基、稀疏矩阵、稀疏基、正交基字典矩阵，大小为N×N
(6)A称为测度矩阵、传感矩阵、CS信息算子，大小为M×N
上式中，一般有K<

1、ROMP重构算法流程：

正则化正交匹配追踪（ROMP）算法流程与OMP的最大不同之处：就在于从传感矩阵A中选择列向量的标准，OMP每次只选择与残差内积绝对值最大的那一列，而ROMP则是先选出内积绝对值最大的K列（若所有内积中不够K个非零值则将内积值非零的列全部选出），然后再从这K列中按正则化标准
再选择一遍，即为本次迭代选出的列向量（一般并非只有一列）。

正则化标准：意思是选择各列向量与残差的内积的绝对值的最大值不能比最小值大两倍以上(comparable coordinates)且能量最大的一组(with the maximal energy)，因为满足条件的子集并非只有一组。似乎用叙述语言描述不清楚，下面给出一种实现第(2)(3)步的算法流程图（此算法并非本人原创，参考网络代码[2][3]，本人将代码中的思想进行整理，画出此流程图，方便初学者快速掌握学习ROMP算法）：

我将原子选择过程封装成了一个MATLAB函数，代码如下(Regularize.m)：

1.function [val,pos] = Regularize(product,Kin)  
2.%Regularize Summary of this function goes here  
3.%   Detailed explanation goes here  
4.%   product = A'*r_n;%
传感矩阵
A
各列与残差的内积
  
5.%   K
为稀疏度
  
6.%   pos
为选出的各列序号
  
7.%   val
为选出的各列与残差的内积值
  
8.%   Reference:Needell D
，
Vershynin R. Uniform uncertainty principle and  
9.%   signal recovery via regularized orthogonal matching pursuit.   
10.%   Foundations of Computational Mathematics, 2009,9(3): 317-334.    
11.    productabs = abs(product);%
取绝对值
  
12.    [productdes,indexproductdes] = sort(productabs,'descend');%
降序排列
  
13.    for ii = length(productdes):-1:1  
14.        if productdes(ii)>1e-6%
判断
productdes
中非零值个数
  
15.            break;  
16.        end  
17.    end  
18.    %Identify:Choose a set J of the K biggest coordinates  
19.    if ii>=Kin  
20.        J = indexproductdes(1:Kin);%
集合
J  
21.        Jval = productdes(1:Kin);%
集合
J
对应的序列值
  
22.        K = Kin;  
23.    else%or all of its nonzero coordinates,whichever is smaller  
24.        J = indexproductdes(1:ii);%
集合
J  
25.        Jval = productdes(1:ii);%
集合
J
对应的序列值
  
26.        K = ii;  
27.    end  
28.    %Regularize:Among all subsets J0
∈
J with comparable coordinates  
29.    MaxE = -1;%
循环过程中存储最大能量值
  
30.    for kk = 1:K  
31.        J0_tmp = zeros(1,K);iJ0 = 1;  
32.        J0_tmp(iJ0) = J(kk);%
以
J(kk)
为本次寻找
J0
的基准
(
最大值
)  
33.        Energy = Jval(kk)^2;%
本次寻找
J0
的能量
  
34.        for mm = kk+1:K  
35.            if Jval(kk)<2*Jval(mm)%
找到符合
|u(i)|<=2|u(j)|
的
  
36.                iJ0 = iJ0 + 1;%J0
自变量增
1  
37.                J0_tmp(iJ0) = J(mm);%
更新
J0  
38.                Energy = Energy + Jval(mm)^2;%
更新能量
  
39.            else%
不符合
|u(i)|<=2|u(j)|
的
  
40.                break;%
跳出本轮寻找，因为后面更小的值也不会符合要求
  
41.            end  
42.        end  
43.        if Energy>MaxE%
本次所得
J0
的能量大于前一组
  
44.            J0 = J0_tmp(1:iJ0);%
更新
J0  
45.            MaxE = Energy;%
更新
MaxE
，为下次循环做准备
  
46.        end  
47.    end  
48.    pos = J0;  
49.    val = productabs(J0);  
50.end  

2、正则化正交匹配追踪(ROMP)MATLAB代码(CS_ROMP.m)
这个函数是完全基于上一篇中的CS_OMP.m修改而成的。

1.function [ theta ] = CS_ROMP( y,A,K )  
2.%CS_ROMP Summary of this function goes here  
3.%Version: 1.0 written by jbb0523 @2015-04-24  
4.%   Detailed explanation goes here  
5.%   y = Phi * x  
6.%   x = Psi * theta  
7.%   y = Phi*Psi * theta  
8.%   
令
 A = Phi*Psi, 
则
y=A*theta  
9.%   
现在已知
y
和
A
，求
theta  
10.%   Reference:Needell D
，
Vershynin R
．
Signal recovery from incomplete and  
11.%   inaccurate measurements via regularized orthogonal matching pursuit[J]
．
  
12.%   IEEE Journal on Selected Topics in Signal Processing
，
2010
，
4(2)
：
310—316.  
13.    [y_rows,y_columns] = size(y);  
14.    if y_rows<y_columns  
15.        y = y';%y should be a column vector  
16.    end  
17.    [M,N] = size(A);%
传感矩阵
A
为
M*N
矩阵
  
18.    theta = zeros(N,1);%
用来存储恢复的
theta(
列向量
)  
19.    At = zeros(M,3*K);%
用来迭代过程中存储
A
被选择的列
  
20.    Pos_theta = zeros(1,2*K);%
用来迭代过程中存储
A
被选择的列序号
  
21.    Index = 0;  
22.    r_n = y;%
初始化残差
(residual)
为
y  
23.    %Repeat the following steps K times(or until |I|>=2K)  
24.    for ii=1:K%
迭代
K
次
  
25.        product = A'*r_n;%
传感矩阵
A
各列与残差的内积
  
26.        %[val,pos] = max(abs(product));%
找到最大内积绝对值，即与残差最相关的列
  
27.        [val,pos] = Regularize(product,K);%
按正则化规则选择原子
  
28.        At(:,Index+1:Index+length(pos)) = A(:,pos);%
存储这几列
  
29.        Pos_theta(Index+1:Index+length(pos)) = pos;%
存储这几列的序号
  
30.        if Index+length(pos)<=M%At
的行数大于列数，此为最小二乘的基础
(
列线性无关
)  
31.            Index = Index+length(pos);%
更新
Index
，为下次循环做准备
  
32.        else%At
的列数大于行数，列必为线性相关的
,At(:,1:Index)'*At(:,1:Index)
将不可逆
  
33.            break;%
跳出
for
循环
  
34.        end  
35.        A(:,pos) = zeros(M,length(pos));%
清零
A
的这几列
(
其实此行可以不要因为它们与残差正交
)  
36.        %y=At(:,1:Index)*theta
，以下求
theta
的最小二乘解
(Least Square)  
37.        theta_ls = (At(:,1:Index)'*At(:,1:Index))^(-1)*At(:,1:Index)'*y;%
最小二乘解
  
38.        %At(:,1:Index)*theta_ls
是
y
在
At(:,1:Index)
列空间上的正交投影
  
39.        r_n = y - At(:,1:Index)*theta_ls;%
更新残差
  
40.        if norm(r_n)<1e-6%Repeat the steps until r=0  
41.            break;%
跳出
for
循环
  
42.        end  
43.        if Index>=2*K%or until |I|>=2K  
44.            break;%
跳出
for
循环
  
45.        end  
46.    end  
47.    theta(Pos_theta(1:Index))=theta_ls;%
恢复出的
theta  
48.end  

3、ROMP单次重构测试代码
以下测试代码与上一篇中的OMP单次测试代码基本完全一致，除了M和K参数设置及调用CS_ROMP函数三处之外。

1.%
压缩感知重构算法测试
  
2.clear all;close all;clc;  
3.M = 128;%
观测值个数
  
4.N = 256;%
信号
x
的长度
  
5.K = 12;%
信号
x
的稀疏度
  
6.Index_K = randperm(N);  
7.x = zeros(N,1);  
8.x(Index_K(1:K)) = 5*randn(K,1);%x
为
K
稀疏的，且位置是随机的
  
9.Psi = eye(N);%x
本身是稀疏的，定义稀疏矩阵为单位阵
x=Psi*theta  
10.Phi = randn(M,N);%
测量矩阵为高斯矩阵
  
11.A = Phi * Psi;%
传感矩阵
  
12.y = Phi * x;%
得到观测向量
y  
13.%% 
恢复重构信号
x  
14.tic  
15.theta = CS_ROMP(y,A,K);  
16.x_r = Psi * theta;% x=Psi * theta  
17.toc  
18.%% 
绘图
  
19.figure;  
20.plot(x_r,'k.-');%
绘出
x
的恢复信号
  
21.hold on;  
22.plot(x,'r');%
绘出原信号
x  
23.hold off;  
24.legend('Recovery','Original')  
25.fprintf('\n
恢复残差：
');  
26.norm(x_r-x)%
恢复残差

运行结果如下：（信号为随机生成，所以每次结果均不一样）
1）图：

2）Commandwindows
Elapsedtime（运行时间）is 0.022132 seconds.
恢复残差：
ans=7.8066e-015

4、测量数M与重构成功概率关系曲线绘制例程代码

以下测试代码与上一篇中的OMP测量数M与重构成功概率关系曲线绘制例程代码基本完全一致。本程序在循环中填加了“kk”一行代码并将“M = M_set(mm)”一行的分号去掉，这是为了在运行过程中可以观察程序运行状态、知道程序到哪一个位置。重构调用CS_ROMP函数并将save命令的文件名改为ROMPMtoPercentage1000，以防止将OMP存储的数据覆盖（因为本人的所有代码都在一个目录下）。

1.clear all;close all;clc;  
2.%% 
参数配置初始化
  
3.CNT = 1000;%
对于每组
(K,M,N)
，重复迭代次数
  
4.N = 256;%
信号
x
的长度
  
5.Psi = eye(N);%x
本身是稀疏的，定义稀疏矩阵为单位阵
x=Psi*theta  
6.K_set = [4,12,20,28,36];%
信号
x
的稀疏度集合
  
7.Percentage = zeros(length(K_set),N);%
存储恢复成功概率
  
8.%% 
主循环，遍历每组
(K,M,N)  
9.tic  
10.for kk = 1:length(K_set)  
11.    K = K_set(kk);%
本次稀疏度
  
12.    M_set = K:5:N;%M
没必要全部遍历，每隔
5
测试一个就可以了
  
13.    PercentageK = zeros(1,length(M_set));%
存储此稀疏度
K
下不同
M
的恢复成功概率
  
14.    kk  
15.    for mm = 1:length(M_set)  
16.       M = M_set(mm)%
本次观测值个数
  
17.       P = 0;  
18.       for cnt = 1:CNT %
每个观测值个数均运行
CNT
次
  
19.            Index_K = randperm(N);  
20.            x = zeros(N,1);  
21.            x(Index_K(1:K)) = 5*randn(K,1);%x
为
K
稀疏的，且位置是随机的
                  
22.            Phi = randn(M,N);%
测量矩阵为高斯矩阵
  
23.            A = Phi * Psi;%
传感矩阵
  
24.            y = Phi * x;%
得到观测向量
y  
25.            theta = CS_ROMP(y,A,K);%
恢复重构信号
theta  
26.            x_r = Psi * theta;% x=Psi * theta  
27.            if norm(x_r-x)<1e-6%
如果残差小于
1e-6
则认为恢复成功
  
28.                P = P + 1;  
29.            end  
30.       end  
31.       PercentageK(mm) = P/CNT*100;%
计算恢复概率
  
32.    end  
33.    Percentage(kk,1:length(M_set)) = PercentageK;  
34.end  
35.toc  
36.save ROMPMtoPercentage1000 %
运行一次不容易，把变量全部存储下来
  
37.%% 
绘图
  
38.S = ['-ks';'-ko';'-kd';'-kv';'-k*'];  
39.figure;  
40.for kk = 1:length(K_set)  
41.    K = K_set(kk);  
42.    M_set = K:5:N;  
43.    L_Mset = length(M_set);  
44.    plot(M_set,Percentage(kk,1:L_Mset),S(kk,:));%
绘出
x
的恢复信号
  
45.    hold on;  
46.end  
47.hold off;  
48.xlim([0 256]);  
49.legend('K=4','K=12','K=20','K=28','K=36');  
50.xlabel('Number of measurements(M)');  
51.ylabel('Percentage recovered');  
52.title('Percentage of input signals recovered correctly(N=256)(Gaussian)');  

本程序在联想ThinkPadE430C笔记本（4GBDDR3内存，i5-3210）上运行共耗时871.829395秒（上篇中OMP运行共耗时1171.606254秒），程序中将所有数据均通过“save ROMPMtoPercentage1000”存储了下来，以后可以再对数据进行分析，只需“load ROMPMtoPercentage1000”即可。

程序运行结果比文献[4]的Fig.1要差（OMP仿真结果比文献中的要好），原因不详。我调用了文献[2]中的ROMP函数，效果和这里的CS_ROMP差不多。

文献[4]中的Fig.1：

5、结语
国内引用ROMP文献时一般为[4]和[5]，文献[4]更早一些，其实它们有关ROMP的叙述基本是一样子的，下面分别是文献[4]和[5]中的ROMP步骤：
文献[4]：

文献[5]：

其实它们基本是一样的，除了综上迭代的条件略有不同，本文的CS_ROMP中都进行了考虑。其实若要看ROMP的原理，建议看文献[4]的1.4节：

另外，针对ROMP的改进算法也很多，后面看些文献再叙吧。推荐看看文献[6][7]两篇重构算法的综述性文献，本文第一句话就来自文献[6]。

比较本文的ROMP仿真结果与上一篇中OMP的仿真结果可以发现效果远没有OMP好，当然本文文献[4]中的Fig.1比上一篇文献[1]中的Fig.1，其中原因不详。

参考文献：
【1】沙威.CS_OMP，http://www.eee.hku.hk/~wsha/Freecode/Files/CS_OMP.zip
【2】lsz137105，正则化正交匹配追踪代码，http://download.csdn.net/detail/lsz137105/4511935
【3】angshul，ROMP，http://www.pudn.com/downloads150/sourcecode/math/detail648814.html
【4】Needell D，VershyninR. Uniform uncertainty principle and signal recovery via regularized orthogonalmatching pursuit. Foundations of Computational Mathematics, 2009,9(3): 317-334.
【5】Needell D，VershyninR．Signal recovery from incompleteand inaccurate measurements via regularized orthogonal matching pursuit[J]. IEEEJournal on Selected Topics in Signal Processing, 2010, 4(2): 310—316.
【6】杨海蓉，张成，丁大为，韦穗.压缩传感理论与重构算法[J].电子学报，2011，39(1)：142-148.
【7】杨真真，杨震，孙林慧.信号压缩重构的正交匹配追踪类算法综述[J].信号处理，2013，29(4)：486-496.