压缩感知重构算法综述-学习笔记
论文信息：李珅,马彩文,李艳,陈萍.压缩感知重构算法综述[J].红外与激光工程,2013,42(S1):225-232.
目录
文章工作：
问题一：压缩感知涉及三个比较重要的层面
问题二：压缩感知理论简介
（一）基本思想
（二）压缩感知采样过程
问题三：压缩感知重构算研究
1、第一类：贪婪迭代算法；
2、第二类：凸优化算法或最优化逼近方法；
3、第三类：基于贝叶斯框架提出的重构算法；
4、其他算法
问题四：L1范数凸优化算法
问题五：贪婪算法
OMP算法
MOMP算法（multi-candidate OMP）
ROMP算法（Regularized Orthogonal Matching Pursuit）
TOMP算法（Tree-based Orthogonal Matching Pursuit）树型正交匹配算法
CoSaMP算法
压缩感知理论：对于稀疏或可压缩的信号，能够以远低于奈奎斯特频率对其进行采样，并通过设计重构算法来精确的恢复信号。
文章工作：
1、介绍压缩感知理论的基本框架，讨论该理论关于信号压缩的采样过程；
2、综述了压缩感知理论的重构算法，，比较了最优化算法和贪婪算法；
3、讨论了压缩感知理论重构算法未来的研究重点。
问题一：一般来说，压缩感知涉及三个比较重要的层面
1、信号稀疏域的选取，是压缩感知理论的基础和前提；
2、观测矩阵的选取；（已证明：大部分具有一致分布的随机矩阵都可以作为观测矩阵）
3、重构算法的设计，由于压缩感知采用的是全局非自适应测量方法，观测数量远远小于信号长度，从而数据采集量大大减少；
问题二：压缩感知理论简介
（一）基本思想
上述内容，以Nyquist-Shanon采样为准则的编码和解码方法有以下缺点：
1、采样后压缩，会导致浪费大量采样资源，变换过程浪费时间；
2、由于需要保留的K个重要分量的位置是随着信号的不同而不同，所以这种编码方式是自适应的，需要分配多余的存储空间以保留K个重要的位置；
3、可能存在丢失分量的情况，导致较差的抗干扰能力；
（二）压缩感知采样过程
压缩感知理论对于测量系有两个主要的分类：
1、随机测量系；参考：
[1]Baraniuk R，Davenport M，DeVore R，et al. A simple proof of the restricted isometry property for random matrices[J]. Constructive Approximation，2007.
[2]Cand`es E，Tao T. Near optimal signal recovery from random projections: Universal encoding strategies[J]. IEEE Transactions on Information Theory，2006，52: 5406 - 5425.
2、非相关测量系；参考：
[1]Emmanuel J Candès. Compressive sampling [C]/ / Proceeding of the International Congress of Mathematicians，2006，3: 1433 -1452 .
（3）重构信号，区别于奈奎斯特理论的线性感知问题，观察数量m远远小于信号长度n，重构面临着求解一个欠定方程组的问题。当信号x是稀疏或可压缩的，求解欠定方程组的问题可以转化为最小0范数问题：
当测量矩阵
满足约束等距性质时，组合优化问题（
约束优化问题）可转化为数值上容易处理
约束的凸优化问题：
其他重构信号的方法，包括：
①将l0范数松弛为lp范数；
②通过先验分布引入稀疏性，再用Bayesian方法实现信号稀疏重构；
③使用启发式算法（heuristic algorithms），如借鉴图模型和编码理论中的belief-propagation和消息传递技术。
问题三：压缩感知重构算研究
1、第一类：贪婪迭代算法；
基本原则就是通过迭代的方式寻找稀疏向量的支撑集，并且使用受限支撑最小二乘估计来重构信号。
常用算法包括：匹配追踪算法( MP ，matching pursuit) 、正交匹配追踪算法 ( OMP，orthogonal matching pursuit ) 、分段OMP算法( StOMP，stagewise orthogonal matching pur- suit) 、规范OMP算法( ROMP，Regularized Orthogonal Matching Pursuit ) 、CoSaMP 算法 ( compressive sam- plingmatchingpursuit)、迭代硬阈值法(iterativehard thresholding，IHT) 以及 GraDeS( gradient descent with sparsification) 等
2、第二类：凸优化算法或最优化逼近方法；
基本原理：将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法为基础追踪算法（Basic Pursuit）。算法提出了使用L1范数替代L0范数来解决最优化问题，以便使用线性方法来执行。另一种算法为Focuss算法，该算法使用Lp范数（P<=1）替代L0范数求解最优化问题。
该类算法计算速度慢（时间复杂度为N^3），但需要测量的数据少（O（K*log（N/K）））且精度高。
常见的凸松弛算法包括：GPSR（Gradient Projection for Sparse Reconstruction）算法 和 SpaRSA（sparse reconstruction by separable approximation）算法。
3、第三类：基于贝叶斯框架提出的重构算法；
此类算法考虑了时间相关性，提高重构精度。该类算法包括：新期望极大值( Expectation - Maximization，EM) 算法、贝叶斯压缩感知( BCS，Bayesian Compressive Sensing) 算法、基 于单测量向量( SMV，single measurement vector) 模型提出的 SBL( sparse Bayesian Learning) 算法和基于多测量向量( MMV，Multiple Measurement Vectors) 模型提出 的MSBL等。
4、其他算法
要求信号的采样支持通过分组快速测试重建，如傅里叶采样，链式追踪和HHS（Heavg Hitters On Steroids）追踪。
问题四：L1范数凸优化算法
基于L1范数凸优化算法的稀疏重构模型主要由两类：
上面LS 为LASSO问题(LASSO : Least Absolute Shrinkage and Selection Operator，最小绝对收缩与选择算子)。BP 为基追踪去噪问题。
求解LS和BP问题时，将约束条件转换为惩罚项，构造非约束优化问题，即：
迭代阈值技术( iterative thresholding algorithm) 在稀疏优化算法中经常被采用，一些迭代阈值算法被用在解决 LASSO 问题上，可以使迭代过程中每一次迭代的计算量减小，这样就可以将 LASSO 用于解决高维方 面的问题。在迭代阈值技术中，迭代收缩算法解决 凸优化问题十分有效，包括 IHT、GraDeS、PCD ( parallel coordinate descent) 以及 FISTA ( fast - iterative - shrinkage thresholding algorithm ) 等。 对于 IHT 和 GraDes 算法，由于该算法使用负梯度作为搜索方向，即 Landweber 迭代，所以造成算法执行效率偏低。
问题五：贪婪算法
OMP算法
正交匹配追踪算法；可以通过已知的关于信号的O(mlnd)个随机线性测量来恢复d维空间中的信号。
MOMP算法（multi-candidate OMP）
是基于OMP改进得到的。在每一次的迭代中，OMP算法只选择一个候选列加入到原子集合中，而MOMP算法选择多个候选列加入到最优原子集合，从而减少迭代的次数，降低重构信号的计算复杂度。
ROMP算法（Regularized Orthogonal Matching Pursuit）
该算法可以通过更快速且重构结果更加均衡稳定。 本质：基于OMP算法进简化：通过设置阈值的方法来找到替代的信号，同时以逼近精度为代价进一步提高了计算速度，更适合求解大规模问题。
TOMP算法（Tree-based Orthogonal Matching Pursuit）树型正交匹配算法
是通过构造稀疏树并在数中追踪重要的系数来实现的。算法的优点：考虑到了信号的多尺度分解时稀疏信号在各奇异子带位置的关系，从而构建了比BP和OMP算法更加快速且重构精度更高的算法。
CoSaMP算法
压缩感知追踪算法( CoSaMP，Compressed Sampling Matching Pursuit)。
总结：今后对于压缩算法的改进主要集中在三个方面:
(1) 构造更稳定、计算复杂度低且需要较少的观测次数的重构算法来精确地回复可压缩信号；
(2) 构造有效的重构算法来精确回复含噪信号或在采样过程中被引入噪声的信号；
(3) 将理论与实际相结合，根据特定的领域或应用构造具有针对性的有效可行的压缩算法。