Compressed sensing 压缩感知/压缩传感 入门介绍

一.引言

         现在的数码相机制造商不断的增大像素值，声称提高分辨率来吸引买家，这样虽然在一定程度上提高了裸眼的视觉享受（其实像素增大到一定值后再增加，裸眼的感受变化不会太大的），却导致文件越来越大，无论是处理、传输、存储都耗费了更大的成本。而这导致了一个奇怪的现象，硬件工程师不断的研制出可以感知更大量data的产品，软件工程师们却不断的绞尽脑汁去扔掉大量的数据以便处理。

        传统的信息获取与处理流程主要包括采样、压缩、传输和解压四个部分。

        

          学过信号处理的人都知道香农定理和奈奎斯特频率，即对某个信号的采样频率如果不低于其信号频谱中最高频率的两倍，那通过对这个采样信号的处理可以恢复原信号。这在2000年以前，data还不是那么海量的时候确实是个信号处理的准则，但数据变得海量了，这个定理却是一个魔咒和束缚，这要求了最小的采样测量，而这最小的测量也已经相当庞大。

        传统的压缩是对采样的数据进行某种变化，如DCT或者wavelets，然后对于变换后绝对值比较大的系数进行编码，舍弃近似于0的系数，其实是有损压缩，不过比如图像，小系数的分量裸眼是很难感受得到的。然后通过解压缩对原始信号进行重构。

        那么采集了大量的数据之后又要做压缩，再扔掉大量的数据，为什么要这么麻烦的做无用功呢？再者，假如信号频率很高，我们似乎也不太可能无限制的构建高采样率的系统。信号本身可以压缩，那在采样的时候是否就可以直接获取压缩表示，省略对大量将要被舍去的信息的采样。这就是压缩传感的概念，核心思想是压缩与采样合并进行。压缩传感的优点是采集的数据量远远小于传统采样方法获取的数据量，突破了香农采样定理的瓶颈。其内容主要包括：信号的稀疏表示、编码测量和重构算法。

二、相关概念介绍

1.Well-posed problem & ill-posed problem 良态问题与病态问题

良态问题的定义有三：存在解；解唯一；解稳定（在初始条件稍微改变时解的形态几乎不变化）

三个条件中任何一个不满足就是病态问题，病态问题通常需要加上一些限制条件，改变一下数学形态来求解。

在CV中很多问题都是病态的，如矩阵的超定（方程个数大于未知数个数），常用最小二乘来逼近解；矩阵欠定（方程个数小于未知数个数），加入正则项等。

2.Tikhonov regularization 吉洪诺夫正则项

求解一个病态的方程

只能通过求 min  来获得 x 的近似解

为 Tikhonov Matrix    为加入的正则项 或平滑项。 

3.零范数

这不是严格数学意义上的范数，表达的是一个矩阵的非零元素的个数

4.约束等距条件

表达的意思是，x 经过变换之后的模长度与变换前是十分接近的

三.压缩传感

已知一个完备信号的某个测量 y 和测量矩阵psai 

想要通过，来重构信号 x 。这显然就是一个欠定的病态问题，y 的维数远远低于 x 的维数，这个方程有无穷多个解。

但是，如果 x 是 K 稀疏的，并且 y 与测量矩阵满足约束等距性，那 x 可以由 y 通过求解最优零范数精确重构！！

即通过使 x 中非零元素个数最小来求取 x 的近似解，满足上面的测量方程的情况下。

总结(1)：原信号x未知，但测量矩阵phi和在phi下的测量值y已知，问题是恢复（或重构）原信号x。一般情况下是病态问题。但如果原信号x是K稀疏信号，则可以通过L0范数最小化来进行估计。

四.信号的稀疏表示

如果一个信号中只有少数非零元素，被称为是稀疏的，而自然界中绝大多数的信号都是非稀疏的，但这些信号可以在某个空间中使用稀疏的基底表示。比如小波变换前信号都是非零的，但变换后大多数的系数都趋于零，用变换后空间中前10%的大系数表示的图像已经和原图像几乎一样（裸眼看）。

  

f为长度为N的一维离散信号

为M*N的矩阵，被称为字典矩阵phi；  x 为N*1的矩阵，x 非零元素很少，称为稀疏和可压缩的，而且 x 的维数会远小于 f 的维数！如果x有K个非零元素，称 x 为信号 f 的K稀疏表示。

故整个自然信号的压缩传感过程可以变成如下公式和下图：

其中被称为传感矩阵

总结(2): 对于普通的非稀疏的自然信号f，可以先变换为稀疏表达f = psai * x，这样x就是稀疏信号了。因此有：y = phi * f = phi * psai * x = (phi*psai) * x，所以我们可以用前面的L0最小化由y 先来直接估计出 x, 然后再由 f = psai * x 计算出原普通非稀疏信号f了。由于从x计算出f是平凡操作，故兴趣点在于(a) 测量矩阵phi怎么选；(b) L0最小化怎么能有效计算。

总结(3): 为何说突破了香农采样定理？新的压缩过程是：原信号f经观测矩阵测量后得y，然后由y估计出稀疏特征向量x，x就是其压缩编码。注意x非常稀疏，故压缩倍数非常高。与传统方法不同的是，这里采样和压缩放到一起做了，这里采样率可比香农定理要求的最高频率2倍要低，所以突破了香农定理。

五.测量矩阵

为了重构稀疏信号，传感矩阵必须满足约束等距性条件。对任意K稀疏的信号c和常熟delta k ∈（0,1），满足以下公式则称为测量矩阵满足约束等距性。

一般测量矩阵是高斯随机矩阵时，传感矩阵满足约束等距性的概率较大。

总结(4): 为了能从y计算出x，需要传感矩阵满足约束等距性条件。但由于稀疏表达字典psai固定，则实际需要对观察矩阵phi进行约束，比如取观察矩阵phi为高斯随机矩阵时，能以很大概率满足约束条件。

六.信号重构算法

其实在三中已经说了通过零范数来重构了，这是理论上可以求取最优解的，但是压缩传感之父candes的老师指出这是一个NP难的问题，难以在线性时间求解，暴力穷举花费成本更大。那通过设置一个好的初值，使用迭代可以找到全局的最优解。

还有一些其他方法：最小l1范数法，匹配追踪法和最小全变分法等。