OMP算法笔记

结论
假设：某空间中线性无关的向量组成的矩阵为A，则A的投影矩阵为

则，向量x在空间中的投影为：Px（Px可以看做x在空间A上的投影系数，所以在OMP中，将Px视为稀疏表示的系数。通过与最小二乘的比较，发现，Px与最小二乘解一致，此间联系，值得挖掘）
（2）OMP算法思想
MP基本原理：从字典矩阵D（也称为过完备原子库中），选择一个与信号 y 最匹配的原子(也就是某列)，构建一个稀疏逼近，并求出信号残差，然后继续选择与信号残差最匹配的原子，反复迭代，信号y可以由这些原子的线性和，再加上最后的残差值来表示。很显然，如果残差值在可以忽略的范围内，则信号y就是这些原子的线性组合。
OMP改进：OMP 算法是在 MP 算法的基础上进行改进的，其挑选原子的标准和 MP 算法一致，也就是在训练字典A里挑选和测试样本x最为匹配的字典原子[38]。不相同之处在于：OMP 算法在每一次迭代过程中对所挑选的全部原子先要执行 Schmidt 正交化操作，来确保每一次循环结果都是最优解。使得在同等精度的条件下，OMP 算法的性能更好，其收敛速度也更快。
疑问1：如何保证同一个原子不会被多次选中?
解答：在正交匹配追踪OMP中，残差是总与已经选择过的原子正交的。这意味着一个原子不会被选择两次，结果会在有限的几步收敛。（转自：https://blog.csdn.net/wwf_lightning/article/details/70142985）
疑问2：如何保证空间中的原子正交？
解答：空间中的原子可以通过Schmidt 正交化操作，受启发于一位博主的理解，他认为求解残差的过程其实就是在进行施密特正交化，推导过程详见（转自：https://blog.csdn.net/wwf_lightning/article/details/70142985）。

OMP流程
最后的系数应该有点问题，左侧多了个A。。。

OMP算法程序：（转自）
（正交匹配追踪(OMP)MATLAB代码(CS_OMP.m)）
function [ theta ] = CS_OMP( y,A,t )
%CS_OMP Summary of this function goes here
%Version: 1.0 written by jbb0523 @2015-04-18
% Detailed explanation goes here
% y = Phi * x
% x = Psi * theta
% y = PhiPsi * theta
% 令 A = PhiPsi, 则y=Atheta
% 现在已知y和A，求theta
[y_rows,y_columns] = size(y);
if y_rows y = y’;%y should be a column vector
end
[M,N] = size(A);%传感矩阵A为MN矩阵
theta = zeros(N,1);%用来存储恢复的theta(列向量)
At = zeros(M,t);%用来迭代过程中存储A被选择的列
Pos_theta = zeros(1,t);%用来迭代过程中存储A被选择的列序号
r_n = y;%初始化残差(residual)为y
for ii=1:t%迭代t次，t为输入参数
product = A’*r_n;%传感矩阵A各列与残差的内积
[val,pos] = max(abs(product));%找到最大内积绝对值，即与残差最相关的列
At(:,ii) = A(:,pos);%存储这一列
Pos_theta(ii) = pos;%存储这一列的序号
A(:,pos) = zeros(M,1);%清零A的这一列，其实此行可以不要，因为它与残差正交
%y=At(:,1:ii)*theta，以下求theta的最小二乘解(Least Square)
theta_ls = (At(:,1:ii)’*At(:,1:ii))^(-1)*At(:,1:ii)’*y;%最小二乘解
%At(:,1:ii)*theta_ls是y在At(:,1:ii)列空间上的正交投影
r_n = y - At(:,1:ii)*theta_ls;%更新残差
end
theta(Pos_theta)=theta_ls;%恢复出的theta
end

OMP单次重构测试代码(CS_Reconstuction_Test.m)

   % 代码中，直接构造一个K稀疏的信号，所以稀疏矩阵为单位阵。

%压缩感知重构算法测试
clear all;close all;clc;
M = 64;%观测值个数
N = 256;%信号x的长度
K = 10;%信号x的稀疏度
Index_K = randperm(N);
x = zeros(N,1);
x(Index_K(1:K)) = 5randn(K,1);%x为K稀疏的，且位置是随机的
Psi = eye(N);%x本身是稀疏的，定义稀疏矩阵为单位阵x=Psitheta
Phi = randn(M,N);%测量矩阵为高斯矩阵
A = Phi * Psi;%传感矩阵
y = Phi * x;%得到观测向量y
%% 恢复重构信号x
tic
theta = CS_OMP(y,A,K);
x_r = Psi * theta;% x=Psi * theta
toc
%% 绘图
figure;
plot(x_r,‘k.-’);%绘出x的恢复信号
hold on;
plot(x,‘r’);%绘出原信号x
hold off;
legend(‘Recovery’,‘Original’)
fprintf(’\n恢复残差：’);
norm(x_r-x)%恢复残差

---

作者：jbb0523
来源：CSDN
原文：https://blog.csdn.net/jbb0523/article/details/45130793

运行结果如下：（信号为随机生成，所以每次结果均不一样）

1）图：

2）Command Windows

Elapsed time is 0.849710 seconds.
恢复残差：
ans =
5.5020e-015

其他相关链接：
【1】MP,OMP原理分析（包含OMP代码，算法流程框图）https://blog.csdn.net/scucj/article/details/7467955
【2】联合稀疏SOMP代码：https://blog.csdn.net/peng_peng123/article/details/50759504