正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同
题目：正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同
如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑：在稀疏分解中有一个OMP算法，在压缩感知的重构算法中也有一个OMP算法，它们有什么区别和联系呢？
其实它们都是一样子的！
从数学模型来入手分析这个问题：
1）稀疏分解要解决的问题是在冗余字典A中选出k列，用这k列的线性组合近似表达待稀疏分解信号y，可以用表示为y=Aθ，求θ。
2）压缩感知重构要解决的问题是事先存在一个θ和矩阵A，然后得到y=Aθ（压缩观测），现在是在已知y和A的情况下要重构θ。
看到了没？实际上它们要解决的问题都是对已知y和A的情况下求y=Aθ中的θ。
上面各式中，A为M×N矩阵（M>>N，稀疏分解中为冗余字典，压缩感知中为传感矩阵A=ΦΨ，即测量矩阵Φ乘以稀疏矩阵Ψ），y为M×1的列向量（稀疏分解中为待稀疏分解信号，压缩感知中为观测向量），θ为N×1的列向量（稀疏分解中为待求分解系数，压缩感知中为信号x的在变换域Ψ的系数，x=Ψθ）。
所不同的是，在稀疏分解中θ是事先不存在的，我们要去求一个θ用Aθ近似表示y，求出的θ并不能说对与错；在压缩感知中，θ是事先存在的，只是现在不知道，我们要通过某种方法如OMP去把θ求出来，求出的θ应该等于原先的θ的，然后可求原信号x=Ψθ。
将以上关系清晰表述如下：
其中： 
和 
稀疏分解是选择冗余字典A中尽量少的列向量（原子），使其线性组合等于或近似等于y，例如共选择了A中的k列：at1, at2, at3,…, atk ，对应的线性组合系数为θt1,θt2, θt3,…,θtk，记At = [ at1, at2, at3,…, atk]，θt= [θt1, θt2,θt3,…, θtk]T，T表示转置。则
注意：下标t1,t2,…,tk并不是从小到大排列，而是代表了OMP算法所选择原子的次序。
现在有一个关键问题是θt1,θt2, θt3,…,θtk的值分别是多少？这是我们最终所求的解……
我们的问题实际上是从y=Atθt中已知y和At求θt（y为M×1的列向量，At为M×k的矩阵，θt为k×1的列向量），则最小二乘解为
这个时候的残差为
这里的问题实际上是正交投影的概念，可以参见《压缩感知中的数学知识：投影矩阵（projectionmatrix）》。
对于压缩感知重构过程也是一样，只是求得的θt的最小二乘解应该为原信号x的稀疏分解系数，那么问题就来了：你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢？为什么通过OMP迭代后一定会选出矩阵A的那几列呢？会不会选择A的另外几列，它们的线性组合也满足y=Aθ？这个问题我们下篇《为什么正交匹配追踪(OMP)一定能恢复信号？》再说。
其实MP也好，改进后的OMP也罢，最初提出都是面向稀疏分解的，当时还没有压缩感知的概念，只是后来压缩感知提出后将其引入到了压缩感知重构中，因为前面也说了，其实他们的本质是一样子的，都是已知y和A的情况下求y=Aθ中的θ。
MP和OMP最初提出的文献一般分别引用以下两篇：
【1】S Mallat, Z Zhang.Matching pursuit with time-frequency dictionaries[J]. IEEE Transactions onSignal Processing, 1993, 41(12): 3397-3415.
【2】Y.C.Pati, R.Rezaiifar,and P.S.Krishnaprasad. Orthogonal Matching Pursuit-Recursive FunctionApproximation with Applications to wavelet decomposition, Proc. 27thAnnu. Asilomar Conf. Signals, Systems, and Computers, Pacific Grove, CA, Nov.1993,vol.1,pp40-44.
将OMP明确用于重构的文献一般引用：
【3】Joel A. Tropp and Anna C. Gilbert. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEETransactions on Information Theory, VOL. 53, NO. 12, DECEMBER 2007.
正是由于稀疏分解与压缩感知这种密切关系，所以很多研究压缩感知的人实际上都是做稀疏分解出身的，有些稀疏表示课题则是顺带刷几篇压缩感知的论文，作为课题组研究方向的一个延伸。