压缩感知原理

压缩感知（压缩传感，Compressive Sensing）理论是近年来信号处理领域诞生的一种新的信号处理理论，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者)等人提出，自诞生之日起便极大地吸引了相关研究人员的关注。

1、压缩感知的思想

将未知的要获得的信号记为AK，它是一个波形。我们希望它越不连续越好，越扩散越好，而我所要做的是按照 一定的顺序获得图像信号的信息。我们按照高斯分布来收集数据，而不是线性的，所以我们只会有少量的感测次数，而这些数据 的相关性非常低。

压缩的意思，是指比较先前及当前数据的差异，并记录下这些差异而减少 需储存的资料量。对于压缩感知的问题比压缩难多了，像是我们要收集怎样分布的数据、如何收集、保留一些什 么系数，从而得到最佳的结果。我们会得到一些机变，保留最大的，最有意义的系数在里头。我们可以做一些抽样，把最重要的保留下来。一个信号，我们知道它是非常好的，但这个信号完全是稀疏的，可能并不是我们要损失掉的。

感知压缩难点在于，压缩后的数据并不是压缩前的数据的一个子集，并不是说，本来有照相机的感光器上有一千万个像素，扔掉其中八百万个，剩下的两百万个采集到的就是压缩后的图像，──这样只能采集到不完整的一小块图像，有些信息被永远的丢失了而且不可能被恢复。

如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。

2、压缩感知的理论组成

（1）信号的稀疏表示；

（2）设计测量矩阵，要在降低维数的同时保证原始信号x的信息损失最小；

（3）设计信号恢复算法，利用M个观测值无失真地恢复出长度为N的原始信号。

3、信号的稀疏表示

信号的稀疏性简单理解为信号中非0元素数目较少，或者说大多数系数为0（或者绝对值较小）。

自然界存在的真实信号一般不是绝对稀疏的，而是在某个变换域下近似稀疏，即为可压缩信号。或者说从理论上讲任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可以有效地进行压缩采样。信号的稀疏性或可压缩性是压缩感知的重要前提和理论基础。

       稀疏表示的意义：只有信号是K稀疏的（且K

      我们知道，长度为N的信号X可以用一组基ΨT=[Ψ1,…, ΨM]的线性组合来表示：

       x=Ψs，Ψ为稀疏基NxN矩阵，s为稀疏系数（N维向量），当信号X在某个基Ψ上仅有 K<s时，称Ψ为信号X的稀疏基。我们需要做的就是合理地选择稀疏基，使得信号的稀疏系数个数尽可能少。

       再啰嗦点的话：如果长度为N的信号X，在变换域Φ中只有K个系数不为零（或者明显大于其他系数），且K<

       我们应该熟悉JPEG跟JPEG2000的区别吧，JPEG的核心算法是DCT，而后者是DWT，本质上，这两种处理方法都是将信号从一个域变换到另外一个域（把坐标系进行旋转，将信号投影到不同的基上），从而获得信号的稀疏表示，即用最少的系数来表示信号，不过DWT比DCT更加稀疏而已。信号不同，对应最稀疏表达的基也会不同，比如，对于一维信号可能小波基是最稀疏的，而对于图像而言，可能那些Curvelet和contourlet是最优的，对于有些信号，也有可能需要将几种基结合起来才是最优的。稀疏分解是找到信号的最稀疏最有效的表达。

        信号在某种表示方式下的稀疏性，是压缩感知应用的理论基础，经典的稀疏化的方法有离散余弦变换（DCT）、傅里叶变换（FFT）、离散小波变换（DWT）等。

        最近几年，对稀疏表示研究的另一个热点是信号在冗余字典下的稀疏分解。 这是一种全新的信号表示理论：用超完备的冗余函数库取代基函数，称之为冗余字典，字典中的元素被称为原子。目前信号在冗余字典下的稀疏表示的研究集中在两个方面：一是如何构造一个适合某一类信号的冗余字典，二是如何设计快速有效的稀疏分解算法。目前常用的稀疏分解算法大致可分为匹配追踪（Matching Pursuit）和基追踪（Basis Pursuit）两大类。

4、信号的观测矩阵

观测矩阵（也称测量矩阵）MxN（M<

      观测矩阵的设计目的是如何采样得到M个观测值，并保证从中能重构出长度为N的信号X或者稀疏基Ψ下等价的稀疏系数向量。

       为了保证能够从观测值准确重构信号，其需要满足一定的限制：观测基矩阵与稀疏基矩阵的乘积满足RIP性质（有限等距性质）。这个性质保证了观测矩阵不会把两个不同的K稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），这就要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。

在CS编码测量模型中并不是直接测量稀疏信号X本身， 而是将信号投影到一组测量矩阵Φ上而得到测量值y。即，用一个与变换矩阵不相关的MxN（M<

       测量值y是一个M维向量，这样使测量对象从N维降为M维。测量矩阵的设计要求信号从x转换为y的过程中，所测量到的K个测量值不会破坏原始信号的信息，以保证信号可以精确重构。

       由于信号x是是可稀疏表示的: x=Ψs，上式可以表示为下式：

   y=Φx=ΦΨs=Θs

       其中Φ是一个MxN矩阵。上式中，方程的个数远小于未知数的个数，方程无确定解，无法重构信号。但是，由于信号是K稀疏，若上式中的Φ满足有限等距性质(Restricted Isometry Property，简称RIP)，则K个系数就能够从M个测量值准确重构（得到一个最优解）。RIP性质的等价条件是测量矩阵Φ和稀疏基Ψ不相关。

        如果稀疏基和观测基不相关，则很大程度上保证了RIP性。CandeS和Tao等证明:独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵。则一般用随机高斯矩阵作为观测矩阵。目前常用的测量矩阵还有随机贝努利矩阵、部分正交矩阵、托普利兹和循环矩阵和稀疏随机矩阵等，这里不一一列举了。

5、信号的观测矩阵

目前，压缩感知的重构算法主要分为两大类：

（1）贪婪算法，它是通过选择合适的原子并经过一系列的逐步递增的方法实现信号矢量的逼近，此类算法主要包括匹配跟踪算法、正交匹配追踪算法、补空间匹配追踪算法等。

（2）凸优化算法，它是把0范数放宽到1范数通过线性规划求解的，此类算法主要包括梯度投影法、基追踪法、最小角度回归法等。

        凸优化算法比贪婪算法所求的解更加精确，但是需要更高的计算复杂度。

       从数学上来说，CS就是在一定的条件下求解欠定(不适定)方程，条件包括x要是稀疏的，测量矩阵要满足RIP条件，那么欠定(不适定)方程就会以很大的概率有唯一解。