正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

题目:正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

        如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑:在稀疏分解中有一个OMP算法,在压缩感知的重构算法中也有一个OMP算法,它们有什么区别和联系呢?

        其实它们都是一样子的!

        从数学模型来入手分析这个问题:

        1)稀疏分解要解决的问题是在冗余字典A中选出k列,用这k列的线性组合近似表达待稀疏分解信号y,可以用表示为y=,求θ

        2)压缩感知重构要解决的问题是事先存在一个θ和矩阵A,然后得到y=(压缩观测),现在是在已知yA的情况下要重构θ

        看到了没?实际上它们要解决的问题都是对已知yA的情况下求y=中的θ

        上面各式中,A为M×N矩阵(M>>N,稀疏分解中为冗余字典,压缩感知中为传感矩阵A=ΦΨ,即测量矩阵Φ乘以稀疏矩阵Ψ),y为M×1的列向量(稀疏分解中为待稀疏分解信号,压缩感知中为观测向量),θ为N×1的列向量(稀疏分解中为待求分解系数,压缩感知中为信号x的在变换域Ψ的系数,x=Ψθ)。

        所不同的是,在稀疏分解中θ是事先不存在的,我们要去求一个θ近似表示y,求出的θ并不能说对与错;在压缩感知中,θ是事先存在的,只是现在不知道,我们要通过某种方法如OMP去把θ求出来,求出的θ应该等于原先的θ的,然后可求原信号x=Ψθ

        将以上关系清晰表述如下:

正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同_第1张图片

其中:        正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同_第2张图片

                

正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同_第3张图片

        稀疏分解是选择冗余字典A中尽量少的列向量(原子),使其线性组合等于或近似等于y,例如共选择了A中的k列:at1, at2, at3,…, atk ,对应的线性组合系数为θt1,θt2, θt3,…,θtk,记At = [ at1, at2, at3,…, atk],θt= [θt1, θt2,θt3,…, θtk]T,T表示转置。则


注意:下标t1,t2,…,tk并不是从小到大排列,而是代表了OMP算法所选择原子的次序。

        现在有一个关键问题是θt1,θt2, θt3,…,θtk的值分别是多少?这是我们最终所求的解……

        我们的问题实际上是从y=Atθt中已知yAtθty为M×1的列向量,At为M×k的矩阵,θt为k×1的列向量),则最小二乘解为


这个时候的残差为


这里的问题实际上是正交投影的概念,可以参见《压缩感知中的数学知识:投影矩阵(projectionmatrix)》。

        对于压缩感知重构过程也是一样,只是求得的θt的最小二乘解应该为原信号x的稀疏分解系数,那么问题就来了:你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢?为什么通过OMP迭代后一定会选出矩阵A的那几列呢?会不会选择A的另外几列,它们的线性组合也满足y=?这个问题我们下篇《为什么正交匹配追踪(OMP)一定能恢复信号?》再说。

        其实MP也好,改进后的OMP也罢,最初提出都是面向稀疏分解的,当时还没有压缩感知的概念,只是后来压缩感知提出后将其引入到了压缩感知重构中,因为前面也说了,其实他们的本质是一样子的,都是已知yA的情况下求y=中的θ

        MP和OMP最初提出的文献一般分别引用以下两篇:

【1】S Mallat, Z Zhang.Matching pursuit with time-frequency dictionaries[J]. IEEE Transactions onSignal Processing, 1993, 41(12): 3397-3415.

【2】Y.C.Pati, R.Rezaiifar,and P.S.Krishnaprasad. Orthogonal Matching Pursuit-Recursive FunctionApproximation with Applications to wavelet decomposition, Proc. 27thAnnu. Asilomar Conf. Signals, Systems, and Computers, Pacific Grove, CA, Nov.1993,vol.1,pp40-44.

        将OMP明确用于重构的文献一般引用:

【3】Joel A. Tropp and Anna C. Gilbert. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEETransactions on Information Theory, VOL. 53, NO. 12, DECEMBER 2007.

        正是由于稀疏分解与压缩感知这种密切关系,所以很多研究压缩感知的人实际上都是做稀疏分解出身的,有些稀疏表示课题则是顺带刷几篇压缩感知的论文,作为课题组研究方向的一个延伸。 

你可能感兴趣的:(正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同)