浅谈Matching Pursuit和Orthogonal Matching Pursuit

       前几天看了点sparse coding,在此做点关于Matching Pursuit(MP)和Orthogonal Matching Pursuit(OMP)的笔记。MP和OMP都是在字典固定的情况下,尽量用字典稀疏重构样本。以下分别用ICCV2009关于sparse coding的部分ppt来简要介绍这两个算法。


Matching Pursuit


图1 MP算法目标函数及流程图

我们开始解释这个算法吧。如图1所示,首先看目标函数,其中x表示需要重构的样本或者信号,D 表示字典,D的每一列对应一个单词,表示信号x的重构系数,0范数表示向量中非零元素的个数。目标函数可以解释为用少于或者等于L个单词以尽量小的误差重构样本x。MP算法总共分为6步,本质上属于贪心算法。其原理是迭代选取最相关的词扩充基向量。具体地,根据当前重构残差,选取与残差最相关的词,即与残差投影或者内积最大的词,用该词更新残差,再迭代直至选取词的数量达到L个。



Orthogonal Matching Pursuit(OMP)

浅谈Matching Pursuit和Orthogonal Matching Pursuit_第1张图片

图2 OMP算法目标函数及流程图


如图2所示,OMP算法主要分为7步。和MP算法一样,OMP算法每迭代一轮选择一个词。细心的朋友可以发现,在OMP算法中每轮选择的词都是从剩余的词中选择的,即同一个词在全部循环中最多只能选择一次。该算法之所以被称为正交(Orthogonal)的MP,主要是因为第3步中  。点x到子空间的向量的最小距离为点x到子空间投影距离。因此经过步骤3,每次筛选出的词构成的新的子空间到x距离要求最小。关于正交的几何解释,大家可以参考下高数课本中最小二乘法的几何解释,是一样的。

你可能感兴趣的:(coding,matching,matching,sparse,orthogonal,Pursuit,匹配追踪)