压缩感知有关稀疏矩阵(中国压缩感知资源)

压缩感知是近年来极为热门的研究前沿，在若干应用领域中都引起瞩目。最近粗浅地看了这方面一些研究，对于Compressive Sensing有了初步理解，在此分享一些资料与精华。本文针对陶哲轩和Emmanuel Candes上次到北京的讲座中对压缩感知的讲解进行讲解，让大家能够对这个新兴领域有一个初步概念。

compressive sensing（CS） 又称 compressived sensing ，compressived sample，大意是在采集信号的时候（模拟到数字），同时完成对信号压缩之意。中文的翻译成“压缩感知”，意思变得至少不太好理解了。

Compressed sensing is a mathematical tool that creates hi-res data sets from lo-res samples. It can be used to resurrect old musical recordings, find enemy radio signals, and generate MRIs much more quickly. Here’s how it would work with a photograph.

（1）CS大约是2000年左右的一篇博士论文中，已经出现了雏形。后来被陶哲轩，C牛（Emmanuel Candes）和D（Donoho）牛，完善理论。这几位顶尖高手联手挖出了信号处理领域、机器学习领域，近10年最大的学术大坑。
2004年左右，大牛们聊天，觉得要起一个简单的名字，因为理论本身是“通过对信号的高度不完备线性测量的高精确的重建”，如果这样名字不响，不能起到理论推广作用。所以就成了现在的名字"compressive sensing"。

（2）陶哲轩，是这个世界上最聪明的人，他怎么会关注到CS呢？陶哲轩是这个世界上搞调和分析的顶尖高手之一（当然他别的方面也很厉害）。 压缩感知的发现是一次意外，话说一天，当时是加州理工学院教授（现在去了斯坦福）的Emmanuel Candès在研究名叫Shepp-Logan Phantom的图像，这种标准图像常被计算机科学家和工程师测试图像算法。Candès检查的图像质量非常差，充满了噪声，他认为名叫L1-minimization的数学算法能去除掉噪声条纹，结果算法真的起作用了，突然就觉得好神奇哦，“It was as if you gave me the first three digits of a 10-digit bank account number — and then I was able to guess the next seven,” he says.  He tried rerunning the experiment on different kinds of phantom images; they resolved perfectly every time.。而且在图像变干净的同时，他发现图像的细节出人意料的完美起来。

 

某一日Candes去幼儿园接孩子，正好遇上了也在接孩子的陶哲轩，两人攀谈的过程中他提到了自己手头的困难，于是陶哲轩也开始想这个问题，它们成为两人合作的压缩感知领域第一篇论文的基础。Emmanuel Candès认为压缩感知（简写CS）技术具有广阔的应用前景，比如MRI，数码相机。数码相机镜头收集了大量的数据，然后再压缩，压缩时丢弃掉90%的数据。如果有CS，如果你的照相机收集了如此多的数据只是为了随后的删除，那么为什么不一开始就丢弃那90%的数据，直接去除冗余信息不仅可以节省电池电量，还能节省空间。

 

陶哲轩：澳籍华人数学家，童年时期即天资过人，目前主要研究调和分析、偏微分方程、组合数学、解析数论和表示论。24岁起，他在加利福尼亚大学洛杉矶分校担任教授。他现在为该校终身数学教授。

Emmanuel Candes （C牛）是斯坦福大学的数学、统计学，电子工程荣誉教授，同时也是应用计算数学领域的教授。他的 研究领域主要是在这种数学协调分析、数学优化、统计估测，以及在影像科学、信号研究。 Emmanuel Candes 教 授曾获数项国际奖项，包括国家科学基金会最高个人奖项（该奖项主要奖励 35 岁以下的学者）、 2008 年信息社 会理论论文奖，以及国际行业应用数学学会授予的奖项等等。

David Donoho   WaveLab是小波和相关的时频变换的一个Matlab例程库，由美国斯坦福大学的donoho维护

压缩感知的概念：

将未知的要获得的信号记为AK，它是一个波形。我们希望它越不连续越好，越扩散越好，而我所要做的是按照 一定的顺序获得图像信号的信息。我们按照高斯分布来收集数据，而不是线性的，所以我们只会有少量的感测次数，而这些数据 的相关性非常低。

压缩的意思，是指比较先前及当前数据的差异，并记录下这些差异而减少 需储存的资料量。对于压缩感知的问题比压缩难多了，像是我们要收集怎样分布的数据、如何收集、保留一些什 么系数，从而得到最佳的结果。我们会得到一些机变，保留最大的，最有意义的系数在里头。我们可以做一些抽样，把最重要的保留下来。一个信号，我们知道它是非常好的，但这个信号完全是稀疏的，可能并不是我们要损失掉的。

对核磁共振的图像，来看一下这些系数， 6000 个不连续性系数，我说我们只 要看 1800 不连续的测量，让我们看有什么变化，让我们看看重建后的图片，这些图片是非常接近真实图像的， 我们可以用少于三倍或甚至四倍的测量次数而得到一个非常接近的结果。

感知压缩难点在于，压缩后的数据并不是压缩前的数据的一个子集，并不是说，本来有照相机的感光器上有一千万个像素，扔掉其中八百万个，剩下的两百万个采集到的就是压缩后的图像，──这样只能采集到不完整的一小块图像，有些信息被永远的丢失了而且不可能被恢复。

 

如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。

 

有趣的是，在某些特定的场合，上述第一件事情是自动得到满足的。最典型的例子就是医学图像成像，例如断层扫描（CT）技术和核磁共振（MRI）技术。对这两种技术稍有了解的人都知道，这两种成像技术中，仪器所采集到的都不是直接的图像像素，而是图像经历过全局傅立叶变换后的数据。也就是说，每一个单独的数据都在某种程度上包含了全图像的信息。在这种情况下，去掉一部分采集到的数据并不会导致一部分图像信息永久的丢失（它们仍旧被包含在其它数据里）。这正是我们想要的情况。
上述第二件事就要归功于陶哲轩和坎戴的工作了。他们的工作指出，如果假定信号（无论是图像还是声音还是其他别的种类的信号）满足某种特定的「稀疏性」，那么从这些少量的测量数据中，确实有可能还原出原始的较大的信号来，其中所需要的计算部分是一个复杂的迭代优化过程，即所谓的「L1-最小化」算法。

把上述两件事情放在一起，我们就能看到这种模式的优点所在。它意味着：我们可以在采集数据的时候只简单采集一部分数据（「压缩感知」），然后把复杂的部分交给数据还原的这一端来做，正好匹配了我们期望的格局。在医学图像领域里，这个方案特别有好处，因为采集数据的过程往往是对病人带来很大麻烦甚至身体伤害的过程。以 X 光断层扫描为例，众所周知 X 光辐射会对病人造成身体损害，而「压缩感知」就意味着我们可以用比经典方法少得多的辐射剂量来进行数据采集，这在医学上的意义是不言而喻的。

 

本部分为陶哲轩在一篇blog中对于comprehensive sensing 文章翻译过来的精华部分，提取了重点，并加入了一些理解，这里用来解释CS的概念堪称经典。

相机的用途，自然是记录图像。为了简化论述，我们把图像假设成一个长方形阵列，比如说一个1024×2048像素的阵列（这样就总共是二百万像素）。为了省略彩色的问题（这个比较次要），我们就假设只需要黑白图像，那么每个像素就可以用一个整型的灰度值来计量其亮度（例如用八位整型数表示0到255，16位表示0到65535）。接下来，按照最最简化的说法，传统相机会测量每一个像素的亮度（在上述例子中就是二百万个测量值），结果得到的图片文件就比较大（用8位灰度值就是2MB（1024*2048*8b），16位灰度就是4MB）。数学上就认为这个文件是用超高维矢量值描绘的（在本例中就是约二百万维）,进行。
在我开始讲“压缩感知”这个新故事之前，必须先快速回顾一下“老式压缩”的旧故事。（已经了解图像压缩算法的读者可以跳过这几段。）

老式压缩：

怎么样压缩图像？方式多种多样，其中有些非常先进，不过我来试试用一种不太高科技的（而且也不太精确的）说法来描述一下这些先进技术。图像通常都含有大片无细节部分–比如在风景照里面，将近一半的画面都可能被单色的天空背景占据。我们假设提取一个大方块，比方说100×100像素，其中完全是同一颜色的——假设是全白的吧。无压缩时，这个方块要占10000字节存储空间（按照8位灰度算）；但是我们可以只记录这个方块的维度和坐标，还有填充整个方块的单一颜色；这样总共也只要记录四五个字节，省下了可观的空间。不过在现实中，压缩效果没有这么好，因为表面看来没有细节的地方其实是有着细微的色差的。所以，给定一个无细节方块，我们记录其平均色值，就把图片中这一块区域提取出来，只留下微小的残余误差。接下来就可以继续选取更多无细节的方块，抽象成单色色块。最后剩下的是亮度（色彩强度）很小的，肉眼无法察觉的细节。于是就可以抛弃这些剩余的细节，只需要记录那些“可见”色块的大小，位置和亮度。日后则可以反向操作，重建出比原始图像质量稍低一些，占空间却小得多的复制图片。

其实上述的算法并不适合处理颜色剧烈变动的情况，所以在实际应用中不很有效。事实上，更好的办法不是用均匀色块，而是用“不均匀”的色块——比方说右半边色彩强度平均值大于左半边这样的色块。这种情况可以用（二维）Haar小波系统来描述。后来人们又发现一种”更平滑的”小波系统更能够避免误差，不过这都是技术细节，我们就不深入讨论了。然而所有这些系统的原理都是相同的：把原始图像表示为不同“小波（类似于上文中的色块）”的线性叠加，记录显著的（高强度的）小波的系数，放弃掉（或者用阈值排除掉）剩下的小波系数。这种“小波系数硬阈值”压缩算法没有实际应用的算法（比如JPEG 2000标准中所定义的）那么精细，不过多少也能描述压缩的普遍原理。

总体来讲（也是非常简化的说法），原始的1024×2048图像可能含有两百万自由度，想要用小波来表示这个图像的人需要两百万个不同小波才能完美重建。但是典型的有意义的图像，从小波理论的角度看来是非常稀疏的，也就是可压缩的：可能只需要十万个小波就已经足够获取图像所有的可见细节了，其余一百九十万小波只贡献很少量的，大多数观测者基本看不见的“随机噪声”。（这也不是永远适用：含有大量纹理的图像–比如毛发、毛皮的图像——用小波算法特别难压缩，也是图像压缩算法的一大挑战。But that is another story。）

接下来呢，如果我们（或者不如说是相机）事先知道两百万小波系数里面哪十万个是重要的，那camera就可以只计算这十万个系数，别的就不管了。（对于单个系数的计算，可以在图像上应用一种合适的filter“滤波器”或叫mask“滤镜/掩模”，然后计量过滤出来的每个像素的色彩强度）但是，相机是不会知道哪个系数是重要的，所以它只好计量全部两百万个像素，把整个图像转换成基本小波，找出需要留下的那十万个主导基本小波，再删掉其余的。（这当然只是真正的图像压缩算法的一个草图，不过为了便于讨论我们还是就这么用吧。）

PS: 经典的数据压缩技术，无论是音频压缩（例如 mp3），图像压缩（例如 jpeg），视频压缩（mpeg），还是一般的编码压缩（zip），都是从数据本身的特性出发，寻找并剔除数据中隐含的冗余度，从而达到压缩的目的。这样的压缩有两个特点：第一、它是发生在数据已经被完整采集到之后；第二、它本身需要复杂的算法来完成。相较而言，解码过程反而一般来说在计算上比较简单，以音频压缩为例，压制一个 mp3 文件的计算量远大于播放（即解压缩）一个 mp3 文件的计算量。

那么，如今的数码相机当然已经很强大了，没什么问题干吗还要改进？事实上，上述的算法，需要收集大量数据，但是只需要存储一部分，在消费摄影中是没有问题的。尤其是随着数据存储变得很廉价，现在拍一大堆完全不压缩的照片也无所谓。而且，尽管出了名地耗电，压缩所需的运算过程仍然算得上轻松。但是，在非消费领域的某些应用中，这种数据收集方式并不可行，特别是在传感器网络中。如果打算用上千个传感器来收集数据，而这些传感器需要在固定地点呆上几个月那么长的时间，那么就需要尽可能地便宜和节能的传感器——这首先就排除了那些有强大运算能力的传感器（然而——这也相当重要——我们在接收处理数据的接收端仍然需要现代科技提供的奢侈的运算能力）。在这类应用中，数据收集方式越“傻瓜”越好（而且这样的系统也需要很强壮，比如说，能够忍受10%的传感器丢失或者各种噪声和数据缺损）。所谓的「压缩感知」，也就是说，直接感知压缩了的信息。

压缩感知：

这就是压缩感知的用武之地了。其理论依据是：如果只需要10万个分量就可以重建绝大部分的图像，那何必还要做所有的200万次测量，只做10万次不就够了吗？（在实际应用中，我们会留一个安全余量，比如说测量30万像素，以应付可能遭遇的所有问题，从干扰到量化噪声，以及恢复算法的故障。）这样基本上能使节能上一个数量级，这对消费摄影没什么意义，对感知器网络而言却有实实在在的好处。

不过，正像我前面说的，相机自己不会预先知道两百万小波系数中需要记录哪十万个。要是相机选取了另外10万（或者30万），反而把图片中所有有用的信息都扔掉了怎么办？

※※※※※※※※※※※※※※※

解决的办法简单但是不太直观。就是用非小波的算法来做30万个测量——尽管我前面确实讲过小波算法是观察和压缩图像的最佳手段。实际上最好的测量其实应该是（伪）随机测量——比如说随机生成30万个滤镜（mask）图像并测量真实图像与每个mask的相关程度。这样，图像与mask之间的这些测量结果（也就是“相关性”）很有可能是非常小非常随机的。但是——这是关键所在——构成图像的2百万种可能的小波函数会在这些随机的mask的测量下生成自己特有的“特征”，它们每一个都会与某一些mask成正相关，与另一些mask成负相关，但是与更多的mask不相关。可是（在极大的概率下）2百万个特征都各不相同；这就导致，其中任意十万个的线性组合仍然是各不相同的（以线性代数的观点来看，这是因为一个30万维线性子空间中任意两个10万维的子空间几乎互不相交）。因此，理论上是有可能从这30万个随机mask数据中恢复图像的（至少可以恢复图像中的10万个主要细节）。简而言之，我们是在讨论一个哈希函数的线性代数版本。

PS: 这里的原理就是说，如果3维线性子空间中的任意两个2维子空间是线性相关的话，比如：

①3x+2y=8

②6x+4y=16

③4x+5y=10

中，①②就是线性相关的，①③不是线性相关的。将200万个小波函数降维到30万个掩模基的过程就是类似去掉①②中冗余基的过程。

然而这种方式仍然存在两个技术问题。首先是噪声问题：10万个小波系数的叠加并不能完全代表整幅图像，另190万个系数也有少许贡献。这些小小贡献有可能会干扰那10万个小波的特征，这就是所谓的“失真”问题。第二个问题是如何运用得到的30万测量数据来重建图像。

我们先来关注后一个问题（怎样恢复图像）。如果我们知道了2百万小波中哪10万个是有用的，那就可以使用标准的线性代数方法（高斯消除法，最小二乘法等等）来重建信号。（这正是线性编码最大的优点之一——它们比非线性编码更容易求逆。大多数哈希变换实际上是不可能求逆的——这在密码学上是一大优势，在信号恢复中却不是。）可是，就像前面说的那样，我们事前并不知道哪些小波是有用的。怎么找出来呢？一个单纯的最小二乘近似法会得出牵扯到全部2百万系数的可怕结果，生成的图像也含有大量颗粒噪点。要不然也可以代之以一种强力搜索，为每一组可能的10万关键系数都做一次线性代数处理，不过这样做的耗时非常恐怖（总共要考虑大约10的17万次方个组合！），而且这种强力搜索通常是NP完备的（其中有些特例是所谓的“子集合加总”问题）。不过还好，还是有两种可行的手段来恢复数据：

•匹配追踪：找到一个其标记看上去与收集到的数据相关的小波；在数据中去除这个标记的所有印迹；不断重复直到我们能用小波标记“解释”收集到的所有数据。

Matching pursuit: locate a wavelet whose signature seems to correlate with the data collected; remove all traces of that signature from the data; and repeat until we have totally “explained” the data collected in terms of wavelet signatures. 就是先找出一个貌似是基的小波，然后去掉该小波在图像中的分量，迭代直到找出所有10w个小波.

•基追踪（又名L1模最小化）：在所有与(image)数据匹配的小波组合中，找到一个“最稀疏的”基，也就是其中所有系数的绝对值总和越小越好。（这种最小化的结果趋向于迫使绝大多数系数都消失了。）这种最小化算法可以利用单纯形法之类的凸规划算法，在合理的时间内计算出来。
Basis pursuit (or  minimisation): Out of all the possible combinations of wavelets which would fit the data collected, find the one which is “sparsest” in the sense that the total sum of the magnitudes of all the coefficients is as small as possible. (It turns out that this particular minimisation tends to force most of the coefficients to vanish.) This type of minimisation can be computed in reasonable time via convex optimisationmethods such as the simplex method.

需要注意到的是，这类图像恢复算法还是需要相当的运算能力的（不过也还不是太变态），不过在传感器网络这样的应用中这不成问题，因为图像恢复是在接收端（这端有办法连接到强大的计算机）而不是传感器端（这端就没办法了）进行的。

现在已经有严密的结果显示，对原始图像设定不同的压缩率或稀疏性，这两种算法完美或近似完美地重建图像的成功率都很高。匹配追踪法通常比较快，而基追踪算法在考虑到噪声时则显得比较准确。这些算法确切的适用范围问题在今天仍然是非常热门的研究领域。（说来遗憾，目前还没有出现对P不等于NP问题的应用；如果一个重建问题（在考虑到测量矩阵时）是NP完备的，那它刚好就不能用上述算法解决。）

由于压缩感知还是一个相当新的领域（尤其是严密的数学结果刚刚出现），现在就期望这个技术应用到实用的传感器上还为时尚早。不过已经有概念验证模型出现了，其中最著名的是Rice大学研制的单像素相机。

最后必须提到的是，压缩感知技术是一种抽象的数学概念，而不是具体的操作方案，它可以应用到成像以外的许多领域。以下只是其中几个例子：

• 磁共振成像(MRI)。在医学上，磁共振的工作原理是做许多次（但次数仍是有限的）测量（基本上就是对人体图像进行离散拉东变换（也叫X光变换）），再对数据进行加工来生成图像（在这里就是人体内水的密度分布图像）。由于测量次数必须很多，整个过程对患者来说太过漫长。压缩感知技术可以显著减少测量次数，加快成像（甚至有可能做到实时成像，也就是核磁共振的视频而非静态图像）。此外我们还可以以测量次数换图像质量，用与原来一样的测量次数可以得到好得多的图像分辨率。ps:在C牛的video中也有提到

•天文学。许多天文现象（如脉冲星）具有多种频率震荡特性，使其在频域上是高度稀疏也就是可压缩的。压缩感知技术将使我们能够在时域内测量这些现象（即记录望远镜数据）并能够精确重建原始信号，即使原始数据不完整或者干扰严重（原因可能是天气不佳，上机时间不够，或者就是因为地球自传使我们得不到全时序的数据）。

•线性编码。压缩感知技术提供了一个简单的方法，让多个传送者可以将其信号带纠错地合并传送，这样即使输出信号的一大部分丢失或毁坏，仍然可以恢复出原始信号。例如，可以用任意一种线性编码把1000比特信息编码进一个3000比特的流；那么，即使其中300位被（恶意）毁坏，原始信息也能完全无损失地完美重建。这是因为压缩感知技术可以把破坏动作本身看作一个稀疏的信号（只集中在3000比特中的300位）。

许多这种应用都还只停留在理论阶段，可是这种算法能够影响测量和信号处理中如此之多的领域，其潜力实在是振奋人心。笔者自己最有成就感的就是能看到自己在纯数学领域的工作（例如估算傅立叶子式的行列式或单数值）最终具备造福现实世界的前景。

 

 

研究压缩感知的内容有几块呢？
（1）压缩感知理论，比如测量矩阵，重建性能分析，测量数据量化影响；
（2）优化算法，本质上是重建算法优化，比如线性规划（LP）、贝叶斯优化等等；
（3）实际的应用，压缩？后处理？分类？等等

The main theoretical findings in this recent field have mostly centered on how many multiplexed measurements are necessary to reconstruct the original signal and the attendant nonlinear reconstruction techniques needed to demultiplex these signals. 

最近的理论研究主要集中在 ①需要多少多维测度才能重建原始信号 ②分解信号所需的非线性重建技术；还有能够直接进行多维信号选择的感知硬件(sensing hardware)。

由于刚刚看这一方面的资料，未免经验不足，就借鉴了其他人（Ganer）在该领域的探究结果，他的博客中写到：

很多mpressive sensing的实际用于信号采集效果其实并不是很好。
就从我的实验而言，对于图像压缩甚至会差的很，远远低于传统的压缩方式。
那就不难有学者发出感叹，实际上compressive sensing 就是depressive sensing了。

我的理解是什么呢？有2点牢牢记住的
（1）compressive sensing实际上是对信号采集的颠覆性的理论，打破了乃奎斯特采样（也称香农采样）。
实际上，大部分信号是稀疏的，没有必要用乃奎斯特采样，进行时间离散化。
注意两点：

（1）乃奎斯特采样对信号没有稀疏性的假设；
（2）CS对信号有稀疏性假设，既K稀疏；
那么，信号采集过程也就是说从A2D，变成了A2I。
但是在实际应用角度，2者结合会有很大的收益。（个人观点）
（2）compressive sensing本事是最大后验（MAP）解码，这点比传统的方式要更为”先进“，也更为”危险“。

关于Compressive Sensing更多的学习资料将继续更新，敬请关注本博客和新浪微博Sophia_qing。

References：

1. Compressed sensing and single-pixel cameras - Terrytao

2. 斯坦福大学Emmanuel Candes教授：压缩感知 video2

3. An Introduction to Compressed Sensing （斯坦福课程，可根据syllabus分块啃食）

4.Near Optimal Signal Recovery From Random Projections: Universal Encoding Strategies?-Emmanuel Candes, Terence Tao

5. http://blog.163.com/gan_research/blog/static/16534814820107912256225/

6. C牛在Stanford的课程

7. 中国压缩传感资源（China Compressive Sensing Resources）

8.Using Math to Turn Lo-Res Datasets Into Hi-Res Samples  - Jordan Ellenberg 

([email protected]), an associate professor of mathematics at the University of Wisconsin, wrote about theNetflix Prize in issue 16.03.

 

 

 

 

【摘自：http://blog.sina.com.cn/wuyuzaizai】

压缩传感不是万能的， 
虽然它是信号和图像处理领域最热门的研究对象 
但是它不可能解决所有问题 
就像中科院李老师的话：“压缩感知根植于数学理论，它给目前国内浮躁的学术环境提了一个警钟！因为只有很好地钻研它的基本理论和方法，才能将其有效地应用在所关心的问题中；否则它只能是一剂春药，一种无法名状的春药！”

 

人们习惯于用正交基来表示信号，直到最近几十年，人们才发现用冗余的基元素集合来表示信号能够取得更好的结果，当然我们追求的肯定是用最小数量的基元素来最优的表示信号，这就出现了信号的稀疏表示。

L1范数最小化最早并不是Donoho提出的，早在80年代，Fadil Santosa 和William Symes就曾提出了L1范数的最小化，而Donoho提出Compressed sensing 并不是换汤不换药，CS并不是解决信号在一个完备集里面的最优表示问题的，而是提出了一种新的信号采集或者测量方式，这种新的测量方式打破了Shannon-Nyquist定理在信号处理领域一手遮天的局面，已经提出，就引起了相关领域大批学者的关注。Shannon-Nyquist采样定理要求在信号的采集阶段以高于信号带宽的两倍采样率来获取信号，信号才能得到完美的重构，而CS则对信号的带宽不再作要求，取而代之的是稀疏性，满足条件的信号则可在远少于SN采样率的情况下精确的重构信号。

从数学上来说，CS是在一定的条件下求解欠定(不适定)方程，条件包括x要是稀疏的，测量矩阵要满足RIP条件，那么欠定(不适定)方程就会以很大的概率有唯一解。

 

《Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information》

1.文章告诉我们压缩传感在图像领域的发展源于作者在医学图像领域--MR图像重构得到的惊人结果，接着提出了压缩传感的数学模型，即当一信号在时域具有稀疏性的前提下，对频域进行少量样本的随机抽样，就可以对信号进行重构，作者事实上是从一个特例开始讨论的，即B1是简单的抽样基，B2是傅里叶基，到了文章的结尾，才对这一事实进行扩展，而且上来就是全变分模型，而不是抽象的L1范数最小化。

2.接着作者提出了两个问题：哪一类的信号才可以得到完美的重构，以及，重构时对采样数目的要求到底是什么，作者用定理1.3回答了以上问题，具有T稀疏性的信号，如果采样数满足。。。要求，那么信号可以得到重构，并且可以证明，重构是唯一的而且是最优的。最优性指的是，没有其他的算法可以用更少的采样数目得到这样的结果。

3.作者阐述了压缩传感与测不准原理的关系，并且提出了新的更强的准则。

4。压缩传感与相关研究的联系：利用L1范数最小化来恢复稀疏信号并不是压缩传感的新创，由来已久，其外，压缩传感与信号的稀疏分解具有很深的渊源，从某种意义上说，他们是相同的，当然他们具有本质上的不同：压缩传感是从不完整的数据中恢复信号，而稀疏分解是找到信号的最稀疏最有效的表达，最后作者从信号采样的角度告诉我们文章的最大贡献是提出了一种新的信号采样方式：数目更少，随机性。

5.文章花了大部分的篇幅来证明解的唯一性，在最后，给出了算法的稳定性，鲁棒性，以及算法的扩展，信号具有T稀疏，且采样数目满足定理要求，算法是稳定的，鲁棒性在相关的文章讨论，扩展指的是信号可以在更多的基里面具有稀疏性，不局限于时域和频域，且采样矩阵也可以有更加多样的选择。

 

1-On theory of compressive sensing via ell1 minimization Simple derivations and extensions

作者信息：Rice,Yin Zhang:http://www.caam.rice.edu/~zhang/

该文首先指出目前的CS理论有两大部分构成：recoverability和stability,recoverability指的是，什么样的采样矩阵和恢复算法能够重构k稀疏信号，而stability指的是当出现信号的近似k稀疏或者出现观测噪声时，算法的鲁棒性。本文的主要的contributions包括：1）提出了一种全新的non-RIP的分析框架；2）与RIP类算法相比，该算法能够将任意形式的先验信息融合到CS理论中；3）文章还验证了随机矩阵本质上是一致的。

2-Instance-optimality in probability with an ell1 decoder

作者信息：Department of Mathematics University of South Carolina

ronald devore：http://www.math.sc.edu/~devore/

该文……

3-Incoherent dictionaries and the statistical restricted isometry property

作者信息:Tel-Aviv University Shamgar Gurevich: http://math.berkeley.edu/~shamgar/

这个大牛的文章太深奥，纯的数学

4-On verifiable sufficient conditions for sparse signal recovery via ell-1 minimization

作者信息：未找到

文章直接指出现有的RIP或者其他的包括Restricted Eigenvalue assumption 和Restricted Correlation assumption都不能立即判定一个矩阵是否能适合L1范数最小化来精确重构信号，因为这些指标都是不可计算的都属于NP问题，而唯一的可计算的指标：Mutual Incoherence又过于保守。该文提出了一种新的量化指标来定量描述给定的矩阵是否足够好来适合L1范数最小化来重构信号。

5-The secrecy of compressed sensing measurements

作者信息：Draper Laboratory，Yaron rachlin：http://yaron.rachlin.googlepages.com/

该文讨论了CS理论在密码学中应用的可行性，作者主要集中在L1范数最小化算法且无噪声的情况，结论是利用CS并不能得到完美的密码，但是作者阐释了一种称为computational notion of secrey,并说明了CS的measurment可以考虑作为密码。

6-Toeplitz compressed sensing matrices with applications to sparse channel estimation

作者信息：Rice University，Javis Haupt：http://www.ece.rice.edu/~jdh6/

该文前边部分对CS做了很好的综述，包括介绍CS的几种情况：最简单的CS，近似稀疏信号的CS重构，含Gaussian观测噪声的CS恢复算法，含有限噪声的CS恢复算法。特别是最后两种的区别，文章给了很好的解释和说明，包括相应的算法的各自特点。

7-On recovery of sparse signals via ell1 minimization

作者信息：The Wharton School University of Pennsylvania 
t.tony cai：http://www-stat.wharton.upenn.edu/~tcai/

这篇文章是对candes及Donoho的方法的改进，作者将问题进行了不同的分类，包括无噪声，有限噪声及高斯噪声三种情况，然后讨论了两种重构模型：DantZig Selector和L1 minimation with L2 constraints,主要的改进之一是提出了更弱的条件，使得可以重构的信号范围进一步扩大。通常我们用RIP性质，或者MIP性质来验证矩阵是否能用来作为一个采样矩阵，文章对这两个条件进行了讨论，并分析了他们之间的关系。作者只是将一个更弱的条件用到这三种情况下，不过作者主页上还是可以看到，09年作者做了相当多的工作。

8-Deterministic designs with deterministic guarantees Toeplitz compressed sensing matrices sequence design and system identification

作者信息：Boston University Department of Electrical and Computer Engineering

venkatesh saligrama：http://iss.bu.edu/srv/

该文应该属于CS在无线通讯领域的应用，以前的满足RIP性质的采样矩阵一般都是满足特定分布的随机矩阵，最近才逐渐出现确定元素构成的采样矩阵，本文作者根据该领域的特殊要求，构造了特别的采样矩阵，并证明了其满足RIP性质。

9-Compressive sensing by random convolution

作者信息：Georgia Tech，Justin Romberg：http://users.ece.gatech.edu/justin/Justin_Romberg.html

该文提出了一种全新的CS框架：先与随机的波形元素进行卷积，然后在时域内进行降采样，从而得到观测值。作者在文章中说明了这种方法是一种通用有效的稀疏数据观测方式，并用radar和Fourier optics两种应用情景来说明这种观测方式能够让我们得到分辨率更高的结果，但是这个框架的通用性还是值得进一步的探究。个人认为作者对信号的稀疏性解释的非常详细，并且分别将稀疏度与带宽对应，采样需求数目与采样频率对应。作者对以前的随机采样矩阵进行了分类：每个元素服从于某种分布；随机从某正交基中抽取m行作为采样矩阵，并从通用性和计算量上对两种矩阵进行了对比。作者还提出了三个考量采样系统的指标：通用性，计算量，以及物理可实现性。

10-Compressed sensing over the Grassmann manifold A unified analytical framework

作者信息：Caltch，Weiyu Xu：http://mathbaby.spaces.live.com/

该文指出，满足RIP的采样矩阵能够恢复出稀疏信号，只是一个充分条件，作者基于高维几何，提出了更加紧的充要条件，而算法的目标也很明确：近似稀疏信号（作者给出了很特别的定义：基于L1范数）；

11-Combining geometry and combinatorics A unified approach to sparse signal recovery

作者信息：MIT，Radu Berinde：http://people.csail.mit.edu/radu/

该文对采样矩阵和恢复算法进行了分类：基于组合的方法和基于几何的方法，并且相应的算法有相应的采样矩阵与其相对应，组合的方法通常对应于稀疏的二值矩阵，而几何的方法主要是指常用的l1范数最小化等，对应的矩阵为稠密的随机高斯随机贝努力矩阵。文章从整体的观点出发，认为两种方法在某种意义下是相同的，并提出了新的采样矩阵和恢复算法。

12-High-dimensional subset recovery in noise Sparsified measurements without loss of statistical efficiency

作者信息:UC Berkeley,Dapo Omidiran: http://www.eecs.berkeley.edu/~dapo/

该文同上篇文章一样，也是研究了基于稀疏采样矩阵的Losso算法，同时考虑采样矩阵的稀疏和观测样本的噪声，并证明了当采样矩阵的稀疏度趋于0的情况下所需要的采样数目与稠密的采样矩阵需要的相同。

13-Efficient compressed sensing using high quality expander graphs

作者信息：Princeton，sina Jafarpour：http://sina2jp.googlepages.com/sinajafarpour'shomepage

该文起源于Coding Theory，用于error correcting,其中比较经典的error correcting codes是LDPC（Low Density Parity Codes）,随后被xu weiyu（加州理工）用于CS领域，这篇文章是对Xu的理论的改进。

常用的RIP性质被用来检验一个随机矩阵是否能够用来作为采样矩阵，从而使得L1范数最小化算法能够对稀疏信号进行完美的重构，满足RIP性质的矩阵可以作为采样矩阵（充分条件），而Radu（见本页第一篇文章）提出了一种新的RIP，called RIP-1，标准的RIP（也称:RIP-2）保持了两稀疏信号的欧氏距离即Norm2，而RIP-1，则保持了稀疏信号的Manhattan距离，即Norm1，作者在文中说明了，只要矩阵满足RIP-1，也能保证将稀疏信号完美重构。

14-On some deterministic dictionaries supporting sparsity

作者信息：（特拉维夫，以色列港市）Shamgar Gurevich：http://math.berkeley.edu/~shamgar/

作者系数学出身，这篇文章从语言到内容涉及到太多的数学内容，可略过。

15-A remark on compressed sensing 中提到：关于采样矩阵需要满足的条件，首先是由D.Donoho在文Compressive Sensing中提出的CS1-CS3条件，接着E.Candes,J.Romberg,T.Tao也独立的证明了矩阵需要满足的条件，进一步的研究，由A.Cohen,W.Dahmen,R.Devore(Compressed Sensing and k-term approximation)中完成，而这篇文章主要的工作就是证明了在渐进的情况下，即当m,n趋于无穷大的情况下，以上三个条件是一致的。

16-Toeplitz structured compressed sensing matrices：

又是一篇关于采样矩阵的文章，这篇文章提出了一种新的构造采样矩阵的方法，Toeplitz Matrix,并且证明了改矩阵满足Cades提出的RIP性质，列出了与通常的随机采样矩阵相比的优缺点，以及该采样矩阵在系统辨识中的应用。

17-Efficient compressive sensing with determinstic guarantees using expander graphs

这篇文章很好，一个原因是它将07年之前的关于压缩CS的文章进行了很好的总结，综述内容很丰富，此外是该文提出了一种新的框架，一种基于bipartite expander graphs的方法，利用图论来解决CS的问题，最终回答了作者提出的两个CS存在的问题：1.对于O（n），及k=O（n）的情况，目前的CS理论是否能够精确重构，2.如果能的话，信号满足稀疏性的前提下，这样的矩阵及重构算法是否存在？

18-Computation and relaxation of conditions for equivalence between ell1 and ell0 minimization

这篇文章证明了在什么情况下，l0和l1的解是相同的，而且对信号的稀疏性有什么要求。

19-Fast compressive sampling with structurally random matrices

该文首先分析了已有的采样矩阵所具有的四个重要特征，并指出目前的采样矩阵一般只具备其中部分特征，之后具体分析的现在流行的两类采样矩阵的优缺点，包括第一类：随机高斯，随机贝努力，及亚高斯阵，第二类：部分傅里叶阵以及部分正交阵。在分析的基础上提出了一个hybrid采样矩阵，证明了该采样矩阵能够同时具有上述四个特点。

20-Sparse recovery using sparse random matrices

作者来自MIT,http://people.csail.mit.edu/radu/,主要研究方向也就是CS，文章的综述不错，总结的很详细，实验也很不错，文章主要是对稀疏的采样矩阵与通常的随机采样矩阵的对比，及其优势，并通过丰富的实验对几种常用的采样矩阵进行了比较。

21-A negative result concerning explicit matrices with the restricted isometry property

正如题目所示：文章指出通常的0，1采样矩阵需要额外的条件才能满足最优性，并且给出了更加紧的满足RIP条件的结果。

22-Toeplitz block matrices in compressed sensing

同样是讨论采样矩阵文章。

 

 

 

 

 

 

上一篇《初识压缩感知Compressive Sensing》中我们已经讲过了压缩感知的作用和基本想法，涉及的领域，本文通过学习陶哲轩对compressive sensing（CS）的课程，对压缩感知做进一步理解，针对其原理做出讲解。本文较为理论性，代码请参考《“压缩感知”之“Hello world”》。

Keywords: 压缩感知 compressive sensing, 稀疏（Sparsity）、不相关（Incoherence）、随机性（Randomness）

 

 

回忆传统压缩

压缩感知概念 &线性度量

压缩感知适合解决什么问题？

压缩感知是否可行？

怎样恢复原信号？

Basis Pursuit & RIP

噪声

线性编码应用——single pixel camera

 

回忆传统压缩

对于原始信号x∈C(N*1)，传统压缩是构造正交矩阵D∈C（N*N）,正变换为y=Dx, 反变换x=D^-1y= D^Ty, D^-1= D^T。

将初始信号x变换到y∈C(N*1)后，将保留其中的K个分量（K人工指定），对其他N-K个分量置零，这样的信号y就称为K稀疏（K-Sparse）的。于是得到编码策略如下：

Code（编码）：构造正交矩阵D，做正变换y=Dx, 保留y中最重要的K个分量及其对应位置。

Decode（解码）：将K个分量及其对应位置归位，其他位置置零，得到y，构造D，并用x=D^-1y恢复x。

换句话说，传统压缩就是构造正交阵进行编解码，将所有N维信号全部存储下来。其弊端是，

1. 由于香农定理的限制，采样频率很大，这样造成了原始信号很长（N很大），消耗时间和空间。

2. K个重要分量要分别存储其位置，多分配空间。

3. K中分量（在传输过程中）丢失的话不好恢复。

 [ S-sparse ]:A model case occurs when x is known to be S-sparse for some 1≤S≤n, which means that at most S of the coefficients of x can be non-zero.

 

 

压缩感知概念 & 线性度量

卍压缩感知初识（详见上一篇具体介绍）：

      与传统压缩不同的是，压缩感知采用的y=Dx中，D不是N*N, 而是D∈C(M*N)的，其中M∈C(N*1),y∈C(M*1),

      我们知道，当M>=N的时候，这是一个determined或over-determined的problem，而且容易求解；而Munder-determined的，如果我们假设x是稀疏的，最好的solution就是能够满足Ax≈b的最稀疏的x。CS惊人之处就是可以解决这种under-determined的问题：给定M*1的y，可以根据D恢复出N*1的x, 其中M<<N。如果x是S稀疏（S-sparse）的（或者想要让它是S稀疏的），那么我们只需要取那S个度量（from N个未知量x）就好了。

卍线性度量：

      对于上面的问题y=Dx, 当Mx₀是其中一个特解的话，那么通解形式即为x₀+WZ，其中W∈C(N*（N-M）),是D的零空间的一组基，Z是这组基的线性组合，总有DWZ=0。所以我们的任务就是找x₀+WZ中最稀疏的解x（为什么找最稀疏的后面会有证明的定理）。

     这里，原先传统压缩中N*N的D越冗余，其零空间越大，寻找更稀疏矩阵的选择越多（即x₀+WZ越多）。

卍求解问题：

[example of CS-imaging]：（from ppt of 陶哲轩）

A typical example of when this assumption is reasonable is in imaging. An image may consist of ∼10⁶ pixels and
thus require a vector of n∼10⁶ to fully represent. But, if expressed in a suitable wavelet basis, and the image does
not contain much noise or texture, only a small fraction (e.g. 10⁴) of the wavelet coefficients should be significant.
(This is the basis behind several image compression algorithms, e.g. JPEG2000.)

Intuitively, an S-sparse vector x has only S degrees of freedom, and so one should now be able to reconstruct x using only S or so measurements.This is the philosophy of compressed sensing(or compressive sensing, or compressive sampling): the number of measurements needed to accurately capture an object should be comparable to its compressed size, not its uncompressed size.

 

 

压缩感知适合解决什么问题？

卍信号是稀疏的

卍 sensor方计算代价较大，receiver方计算代价较小（即不适合将信息全部存储下来，而适合取少量信息，之后恢复）

PS：single-pixel camera之后讲(*^__^*) 

 

 

压缩感知是否可行？

说起这个问题可能有人会奇怪，什么叫是否可行呢？就是说给出D和M维的y，是否可以唯一地把x恢复出来？答案是肯定的！

Compressive Sensing中有两个问题，对于

• 一个是怎样确定出一个stable的基θ，或者测量矩阵Φ
• 另一个是如何进行信号x的恢复（下一小节）

首先看看怎么确定一个stable的基：

2 conditions：下图是说明了一切。

定理：假设Ax=b中，A是m*n的矩阵，x是n维向量，y是m维向量，A中任意2S列都是线性无关的(即无法线性组合得到0向量)，则s-sparse的向量x可以被b和A唯一地重构出来，i.e.

证明：假设可以重建出两个向量x,x'同时满足Ax=Ax'=b,其中x和x'都是S-Sparse的；那么就有A(x-x')=0; 因为x-x'中非零元素个数<=2S，所以x-x'是2S-Sparse的，又因为给出条件A中任意2S个列向量都是线性独立（线性无关）的，这就与A(x-x')=0矛盾了，所以假设不成立，即，可以根据b和A唯一地恢复出x∈C(n*1)。

 

 

怎样恢复原信号？

我们已知所选择的最稀疏的x即x中非零元素最少的，即x的零范数最小的（向量的零范数即为其稀疏度sparsity）。

然而，求x=argmin||x||₀使得x满足Ax=b的一个子问题是一个NP完全问题，需要在S个compoments中选出1,2,...,n个，看能从中选出最少多少个，满足Ax=b,这样，对于每一个n都有排列组合C(S,n)种方法，显然不可行。所以我们想能不能换个什么方法来恢复信号，自然而然的，我们想到了最小平方法。具体见下图Fig B。

Fig A. 用二范数代替零范数 

Fig B. L2范数下寻找满足Ax=b的x，发现有一定偏差。

 

symmerize:

2-methods to methods:
1. L2-norm: quick, efficient, but get the wrong answer
2. L0-norm: precise but impractical

否定了L0范数和L2范数之后，我们想到取中——用L1范数（Basis pursuit的思路）。
so get select the L1-norm , that is the abs of each element

Basis Pursuit & RIP

Basis pursuit的方法在2000年由Candes-Romberg-Tao, Donoho提出，其基本思路见下图（以二维为例）：

从图中可见，L1-norm比L2-norm靠谱多了。从上图中可见，x*处，x的L1-norm最小，这样推广到n维向量x，就是其每一维的值的绝对值的和。

下面这个Theorem就是对L1-norm方案（Basis pursuit）可行性的定理（具体证明看论文吧）：大概是说，原始S-sparse的信号f为n维，从其中随机抽取m维分量，如果想利用Basis pursuit的方法把这m维向量重建出n维原始信号，只要满足m>cS*log(n)即可，其中c是一个常数。

很多实验结果表明呢，大多数S-sparse信号 f 可以在m>=4*S的时候得以很好的重建，由此有了下面更强的RIP假设：

假设A中任意4S列都是几乎正交的，i.e. 在这4S列中，前4S个奇异值都在[0.9,1,1]范围内，则任意S-sparse信号x可以通过basis pursuit 由 Ax重建。

 

2006年，Tao和Donoho的弟子Candes合作证明了在RIP条件下，0范数优化问题与以下1范数优化问题具有相同的解

 

上面已经说过一个定理：对于Ax=b，A中任意2S列都线性独立，则任意S-sparse的向量x都可以被恢复出来，这是理论上的说法。实际上，利用basis pursuit进行恢复时需要增强条件：A中的每4S列都是几乎正交的。这个精确的条件就是RIP，许多matrix都服从这个条件。

补充：

实际上以上的1范数优化问题是一个凸优化，故而必然有唯一解，至此sparse representation的大坑初步成型。总结一下：

•  如果矩阵满足sparsity=2S，则0范数优化问题有唯一解。
•  进一步如果矩阵A满足RIP条件，则0范数优化问题和1范数优化问题的解一致。
•  1范数优化问题是凸优化，故其唯一解即为0范数优化问题的唯一解。

噪声

实际应用中，我们用b=Ax+z来进行拟合，对付噪声的干扰，其中z是高斯噪声向量。

Fig. Reconstructing a sparse signal x approximately from noisy data b=Ax+z, assuming that z has norm less than error tolerance e.

CS应用——single pixel camera

Rice大学首先研究出的单像素相机是CS的一个主要应用。

 

test image(65536 pixels ) and CS construction using 11000 and 1300 measurements

Reference：

我都整合起来放在这里了，其中包括陶哲轩的讲座内容，我对其做的笔记，和大牛的一些解释。对CS的一个基本代码写在了下一篇《“压缩感知”之“Hello world”》，另外推荐一篇很好的博文。嗯。。。还有两篇文章值得一看，一是《Compressive Sensing (Signal Processing Magazine 2007 715') 》，二是《An introduction to compressive sampling (Signal Processing Magazine 2008 1061')》。

 

 

 

 

 

 

中国压缩感知资源（China Compressive Sensing Resources）

  

一、引论与综述

1  石光明，刘丹华，高大化，刘哲，林杰，王良君，压缩感知理论及其研究进展，http://epub.cnki.net/grid2008/de... 027&dbname=CJFQTEMP

2  李树涛，魏丹，压缩传感综述，http://www.aas.net.cn/qikan/manage/wenzhang/2008-0751.pdf

3  喻玲娟，谢晓春，压缩感知理论简介，http://d.wanfangdata.com.cn/Periodical_dsjs200812005.aspx

4  沙威，压缩传感引论，http://www.eee.hku.hk/~wsha/Freecode/Files/Compressive_Sensing.pdf

5  Dai Qi and Wei E.I. Sha, The Physics ofCompressive Sensing and the Gradient-Based Recovery Algorithms,http://arxiv.org/abs/0906.1487

理论分析与观测矩阵
二、理论分析与观测矩阵

1  方红，章权兵，韦穗，基于非常稀疏随机投影的图像重建方法，http://d.wanfangdata.com.cn/Periodical_jsjgcyyy200722008.aspx

2  方红，章权兵，韦穗，基于亚高斯随机投影的图像重建方法，http://d.wanfangdata.com.cn/Periodical_jsjyjyfz200808016.aspx

3  Lianlin Li, Yin Xiang, and Fang Li, Theoretical Analysis ofCompressive Sensing via Random Filter,http://arxiv.org/abs/0811.0152

4  Xiao Z. Wang and Wei E.I. Sha, Random Sampling Using Shannon Interpolation and Poisson Summation Formulae, http://arxiv.org/abs/0909.2292

三、恢复算法

1  方红，章权兵，韦穗，改进的后退型最优正交匹配追踪图像重建方法，http://d.wanfangdata.com.cn/Periodical_hnlgdxxb200808005.aspx

2  傅迎华，可压缩传感重构算法与近似QR分解，http://epub.cnki.net/grid2008/detail.aspx?filename=JSJY200809033&dbname=CJFQ2008

3  Lianlin Li and Fang Li, Novel Algorithm for Sparse Solutions to Linear Inverse Problems with Multiple Measurements, http://arxiv.org/abs/0905.3245

4  Lianlin Li and Fang Li, A Novel Algorithm forCompressive Sensing: Iteratively Reweighed Operator Algorithm (IROA) , http://arxiv.org/abs/0903.4939

5  Yin Xiang, Lianlin Li, Fang Li,Compressive sensing by white random convolution, http://arxiv.org/abs/0909.2737v1

6  范晓维，刘哲，刘灿，分块可压缩传感的图像重构模型，http://dlib.cnki.net/kns50/detail.aspx?QueryID=17&CurRec=1

7  谢志鹏，迭代式正交匹配追踪及稀疏解，
http://epub.cnki.net/grid2008/detail.aspx?filename=WXYJ200910015&dbname=CJFD2009

8  张慧，成礼智，A~-线性Bregman迭代算法，http://epub.cnki.net/grid2008/detail.aspx?filename=JSSX201001010&dbname=CJFDTEMP
 
 

四、信号与图像处理

1  李波，谢杰镇，王博亮，基于压缩传感理论的数据重建，http://epub.cnki.net/grid2008/detail.aspx?filename=WJFZ200905006&dbname=CJFQTEMP

2  宋琳，曹吉海，基于随机滤波的雷达信号采样和目标重建方法，http://d.wanfangdata.com.cn/Periodical_kjdb200813014.aspx

3  Jianwei Ma, Compressed sensing by inverse scale space and curvelet thresholding,http://dsp.rice.edu/files/cs/Iss_Curvelet.pdf

4  Wen Tang, Jianwei Ma, and Felix J. Herrmann, Optimized compressed sensing for curvelet-based seismic data reconstruction, http://dsp.rice.edu/files/cs/OPCRSI3.pdf

5  Jianwei Ma, Improved iterative curvelet thresholding for compressed sensing,http://dsp.rice.edu/files/cs/ISTcs2.pdf

6  Gerlind Plonka and Jianwei Ma, Curvelet-wavelet regularized split bregman iteration for compressed sensing,http://www.uni-due.de/~hm0029/pdfs/SPB_IST7.pdf

7  练秋生，郝鹏鹏，基于压缩传感和代数重建法的CT图像重建，http://epub.cnki.net/grid2008/detail.aspx?filename=GXJS200903029&dbname=CJFQ2009

8  方红，王年，章权兵，韦穗，基于稀疏贝叶斯学习的图像重建方法，http://d.wanfangdata.com.cn/Periodical_zgtxtxxb-a200906009.aspx

9  刘丹华，石光明，周佳社，高大化，吴家骥，基于Compressed Sensing框架的图像多描述编码方法，http://epub.cnki.net/grid2008/detail.aspx?filename=HWYH200904013&dbname=CJFDTEMP

10  刘长红，杨扬，陈勇，基于压缩传感的手写字符识别方法，http://epub.cnki.net/grid2008/detail.aspx?filename=JSJY200908017&dbname=CJFDTEMP

11  练秋生，高彦彦，陈书贞，基于两步迭代收缩法和复数小波的压缩传感图像重构，http://d.wanfangdata.com.cn/Periodical_yqyb200907017.aspx

12  刘兆霆，何劲，刘中，基于压缩感知的高分辨频率估计，http://dlib.cnki.net/kns50/detail.aspx?QueryID=90&CurRec=1

13  侯颖妮，李道京，洪文，基于稀疏阵列和压缩感知理论的艇载雷达运动目标成像研究，http://dlib.cnki.net/kns50/detail.aspx?QueryID=90&CurRec=2

14  李林，孔令富，练秋生，基于轮廓波维纳滤波的图像压缩传感重构，http://epub.cnki.net/grid2008/detail.aspx?filename=YQXB200910008&dbname=CJFD2009

15  李鹏飞，刘红，程鸿，一种单检测器图像信号检测系统的设计，http://epub.cnki.net/grid2008/detail.aspx?filename=ZDYB200908023&dbname=CJFD2009

16  李昌利，欠定盲源分离的稀疏分量分析方法，http://epub.cnki.net/grid2008/detail.aspx?filename=SHDX200904017&dbname=CJFD2009

17  X. Qu, X. Cao, D. Guo, C. Hu, and Z. Chen, Combined sparsifying transforms for compressed sensing MRI,http://scitation.aip.org/getabs/servlet/GetabsServlet?prog=normal&id=ELLEAK000046000002000121000001&idtype=cvips&gifs=Yes&ref=no

18  郭海燕，杨震，基于近似KLT域的语音信号压缩感知，http://epub.cnki.net/grid2008/detail.aspx?filename=DZYX200912032&dbname=CJFDTEMP

19  Jianwei Ma, Compressed sensing for surface characterization and metrology, IEEE Transactions on Instrumentation and Measurement, 2009, to appear.  
http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5272200&tag=1

20  Gang Tang, R. Shahidi, Jianwei Ma, Felix Herrmann, Two dimensional stochastic sampling schemes for curvelet based seismic data recovery, Geophysical Prospecting, revised submitted, 2009. 
http://slim.eos.ubc.ca/index.php?module=articles&func=display&catid=18&aid=296

21  Jianwei Ma, Compressed sensing by iterative thresholding of geometric wavelets: a comparing study, Int. J. Wavelet, Multiresolution and Information Process., 2009, to appear.

22  郭军伟，应用CS理论实现同步采样压缩成像，http://chineseoptics.net.cn/qikan/manage/wenzhang/1674-2915(2009)06-0525-06.pdf

23  李杰，程旺宗，基于压缩传感的背景差分方法研究，http://epub.cnki.net/grid2008/detail.aspx?filename=DNZS201002068&dbname=CJFDTEMP

24  苏晓园，练秋生，基于迭代收缩法和三维复数小波的视频压缩传感重构，http://epub.cnki.net/grid2008/detail.aspx?filename=GDGC201002023&dbname=CJFDTEMP 

25  赵瑞珍，刘晓宇，LI ChingChung，SCLABASSI Robert J，孙民贵，基于稀疏表示的小波去噪，http://epub.cnki.net/grid2008/detail.aspx?filename=PZKX201001005&dbname=CJFDTEMP

物理、化学、与其它

五、物理、化学、与其它

1  Lianlin Li, Wenji Zhang, and  Fang Li,Compressive Diffraction Tomography for Weakly Scattering,http://arxiv.org/abs/0904.2695

2  Lianlin Li, Wenji Zhang, Yin Xiang, and  Fang Li, The Design ofCompressive Sensing Filter,http://arxiv.org/abs/0811.2637

3  Lianlin Li, Wenji Zhang, and  Yin Xiang, The Design of Sparse Antenna Array, http://arxiv.org/abs/0811.0705

4  Jianwei Ma and Francois-Xavier Le Dimet, Deblurring from highly incomplete measurements for remote sensing,http://dsp.rice.edu/files/cs/CS_Deblurring.pdf

5  Jianwei Ma, Single-pixel remote sensing, http://dsp.rice.edu/files/cs/GRSL.pdf

6  肖龙帅，黄华，夏建刚，李灵，压缩传感方位估计，http://epub.cnki.net/grid2008/detail.aspx?filename=TXJS200911070&dbname=CJFD2009

7  杨璋，程旺宗，基于CS理论的LFM信号DOA估计，
http://epub.cnki.net/grid2008/detail.aspx?filename=JSYJ200912066&dbname=CJFDTEMP

8  汪振兴，杨涛，胡波，基于互信息的分布式贝叶斯压缩感知，
http://epub.cnki.net/grid2008/detail.aspx?filename=ZKJD200910009&dbname=CJFD2009

9  Jianwei Ma, A single-pixel imaging system for remote sensing using two-step iterative curvelet thresholding, IEEE Geoscience and Remote Sensing Letters, 2009, 6 (4), 676-680
http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5159504&tag=1

10  程旺宗，王建英，尹忠科，谭亲林，一种DOA估计新方法，http://d.wanfangdata.com.cn/Periodical_jsjyyyj200910101.aspx

11  陈书贞，张亚静，练秋生，OFDM系统中基于压缩传感理论的信道估计算法，http://epub.cnki.net/grid2008/detail.aspx?filename=XXCN201001031&dbname=CJFDTEMP

12  余慧敏，方广有，压缩感知理论在探地雷达三维成像中的应用，http://epub.cnki.net/grid2008/detail.aspx?filename=DZYX201001005&dbname=CJFDTEMP

13  胡海峰，杨震，无线传感器网络中基于空间相关性的分布式压缩感知，http://epub.cnki.net/grid2008/detail.aspx?filename=NJYD200906002&dbname=CJFD2009

14  张先玉，刘郁林，王开，超宽带通信压缩感知信道估计与信号检测方法，http://epub.cnki.net/grid2008/detail.aspx?filename=XAJT201002017&dbname=CJFDTEMP

15  屈乐乐，黄琼，方广有，基于压缩感知的频率步进探地雷达成像算法，http://epub.cnki.net/grid2008/detail.aspx?filename=XTYD201002020&dbname=CJFDTEMP

 

六、博客分享

1  李廉林，http://to-cs.blog.sohu.com/

2  马坚伟，http://www.dynamics.tsinghua.edu.cn/dynctr/faculty/teacher.asp?id=36 

3  桂冠，http://guiuestc.blog.sohu.com/

4  刘翼鹏，http://hi.baidu.com/yipengliu/blog

5  沙威，http://spaces.msn.com/waveletlegend

 

程序与软件包

七、程序与软件包

1  正交匹配算法为信号重建，沙威，http://www.eee.hku.hk/~wsha/Freecode/Files/CS_OMP.rar

2  图像压缩传感通过正交匹配追踪和正交小波变换，沙威，http://www.eee.hku.hk/~wsha/Freecode/Files/Wavelet_OMP.zip 
 

 

中国压缩传感资源（ChinaCompressive Sensing Resources）
http://bbs.matwav.com/viewthread.php?tid=861902
Compressed Sensing Theory

http://home.ustc.edu.cn/~zhanghan/cs/cs.html
杨俊锋： http://math.nju.edu.cn/~jfyang/
研学论坛
http://bbs.matwav.com/index.php

 

======================================

稀疏性与L1范数

 

Sparse大家并不陌生，是个经典话题了。而此时sparse已经卷土重来，虽然还是那一锅汤，但是药已经换了。以L1-minimization为核心的算法，近几年飞速进展，Compressive Sensing (Compressive Sampling) 已然成为数学领域和信号处理最前沿最热门的方向。最近一年多这种新形式的算法快速蔓延到模式识别界应用，论文质量高、算法效果好、而且算法一般都非常简单。而这仅仅是个开始，所以我一直有这个想法专开一贴，供大家一起讨论、共同进步，今天付诸与行动，希望大家支持。在这个地方（第一个帖），我会陆续更新提供一些这方面的材料，供大家了解。如果大家提供了有趣的材料，我也尽量加进来。当然，此贴重点还是放在理论应用和模式识别上。大家踊跃发言啊！


Compressive Sensing资源主页：
Compressive Sensing Resources （最权威最全面的Compressive Sensing资源主页，几乎什么都能找的到）；
Compressive Sensing （和上面的差不多）；
Compressive Sensing Listing； 马毅的课程主页
Compressive Sensing Videos；Compressed Sensing Codes （还有Compressive Sensing Resources的Software一栏中）；
Nuit Blanche；Compressive Sensing: The Big Picture；Terence Tao's What's new;

BayesianCompressive Sensing;

Richard Baraniuk

理论方面的代表人物：
David Donoho; Emmanuel Candes;Terence Tao


Tutorials
David Donoho, Compressed Sensing. (Technical Report)

Emmanuel Candès, Compressive sampling. (Int. Congress of Mathematics, 3, pp. 1433-1452, Madrid, Spain, 2006)
Richard Baraniuk, Compressive sensing. (IEEE Signal Processing Magazine, 24(4), pp. 118-121, July 2007)
Emmanuel Candès and Michael Wakin, An introduction tocompressive sampling. (IEEE Signal Processing Magazine, 25(2), pp. 21 - 30, March 2008)
Justin Romberg, Imaging viacompressive sampling. (IEEE Signal Processing Magazine, 25(2), pp. 14 - 20, March 2008)

Conferences and Symposiums
Short Course: Sparse Representations and High Dimensional Geometry, May 30 - June 1, 2007
New Directions Short Course: Compressive Sampling and Frontiers in Signal Processing, June 4 - 15, 2007（介绍性的资料和视频）


理论方面的代表文献：
Donoho 和 Candes 的文章几乎都是经典，Terence Tao也值得关注，华裔数学新星


模式识别领域的应用（包括机器视觉）：
大家可以去Compressive Sensing Resources 看 Statistical Signal Processing, Machine Learning, Bayesian Methods, Applications of Compressive Sensing 等栏目
马毅的一系列论文
John Wright, Allen Yang, Arvind Ganesh, Shankar Shastry, and Yi Ma, Robust face recognition via sparse representation. (To appear in IEEE Trans. on Pattern Analysis and Machine Intelligence) , 2008
Allen Yang, John Wright, Yi Ma, and Shankar Sastry, Feature selection in face recognition: A sparse representation perspective. (Preprint, 2007)
Kwak, N., Principal Component Analysis Based on L1-Norm Maximization, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008.
Bhusnurmath, Arvind; Taylor, Camillo J., Graph Cuts via $ell_1$ Norm Minimization, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008.
Jianchao Yang, John Wright, Thomas Huang, and Yi Ma, Image Super-Resolution as Sparse Representation of Raw Image Patches, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2008.
Arvind Ganesh, Zihan Zhou, and Yi Ma, Separation of A Subspace-Sparse Signal: Algorithms and Conditions, ICASSP 2009.

Rice大学的的压缩感知资源： http://dsp.rice.edu/cs