2016.11.28压缩感知基础

如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。

解决的办法简单但是不太直观。就是用非小波的算法来做30万个测量——尽管我前面确实讲过小波算法是观察和压缩图像的最佳手段。实际上最好的测量其实应该是（伪）随机测量——比如说随机生成30万个滤镜（mask）图像并测量真实图像与每个mask的相关程度。这样，图像与mask之间的这些测量结果（也就是“相关性”）很有可能是非常小非常随机的。但是——这是关键所在——构成图像的2百万种可能的小波函数会在这些随机的mask的测量下生成自己特有的“特征”，它们每一个都会与某一些mask成正相关，与另一些mask成负相关，但是与更多的mask不相关。可是（在极大的概率下）2百万个特征都各不相同；这就导致，其中任意十万个的线性组合仍然是各不相同的（以线性代数的观点来看，这是因为一个30万维线性子空间中任意两个10万维的子空间几乎互不相交）。因此，理论上是有可能从这30万个随机mask数据中恢复图像的（至少可以恢复图像中的10万个主要细节）。简而言之，我们是在讨论一个哈希函数的线性代数版本。

PS: 这里的原理就是说，如果3维线性子空间中的任意两个2维子空间是线性相关的话，比如：

①3x+2y=8

②6x+4y=16

③4x+5y=10

中，①②就是线性相关的，①③不是线性相关的。将200万个小波函数降维到30万个掩模基的过程就是类似去掉①②中冗余基的过程。

然而这种方式仍然存在两个技术问题。首先是噪声问题：10万个小波系数的叠加并不能完全代表整幅图像，另190万个系数也有少许贡献。这些小小贡献有可能会干扰那10万个小波的特征，这就是所谓的“失真”问题。第二个问题是如何运用得到的30万测量数据来重建图像。

我们先来关注后一个问题（怎样恢复图像）。如果我们知道了2百万小波中哪10万个是有用的，那就可以使用标准的线性代数方法（高斯消除法，最小二乘法等等）来重建信号。（这正是线性编码最大的优点之一——它们比非线性编码更容易求逆。大多数哈希变换实际上是不可能求逆的——这在密码学上是一大优势，在信号恢复中却不是。）可是，就像前面说的那样，我们事前并不知道哪些小波是有用的。怎么找出来呢？一个单纯的最小二乘近似法会得出牵扯到全部2百万系数的可怕结果，生成的图像也含有大量颗粒噪点。要不然也可以代之以一种强力搜索，为每一组可能的10万关键系数都做一次线性代数处理，不过这样做的耗时非常恐怖（总共要考虑大约10的17万次方个组合！），而且这种强力搜索通常是NP完备的（其中有些特例是所谓的“子集合加总”问题）。不过还好，还是有两种可行的手段来恢复数据：

匹配追踪：找到一个其标记看上去与收集到的数据相关的小波；在数据中去除这个标记的所有印迹；不断重复直到我们能用小波标记“解释”收集到的所有数据。

Matching pursuit:

locate a wavelet whose signature seems to correlate with the data

collected; remove all traces of that signature from the data; and repeat

until we have totally “explained” the data collected in terms of

wavelet signatures. 就是先找出一个貌似是基的小波，然后去掉该小波在图像中的分量，迭代直到找出所有10w个小波.

•基追踪（又名L1模最小化）：在所有与(image)数据匹配的小波组合中，找到一个“最稀疏的”基，也就是其中所有系数的绝对值总和越小越好。（这种最小化的结果趋向于迫使绝大多数系数都消失了。）这种最小化算法可以利用单纯形法之类的凸规划算法，在合理的时间内计算出来。

Basis pursuit(or

minimisation):

Out of all the possible combinations of wavelets which would fit the

data collected, find the one which is “sparsest” in the sense that the

total sum of the magnitudes of all the coefficients is as small as

possible. (It turns out that this particular minimisation

tends to force most of the coefficients to vanish.) This type of

minimisation can be computed in reasonable time viaconvex

optimisationmethods such as thesimplex

method.