压缩感知入门②信号的稀疏表示和约束等距性

---

• 压缩感知系列博客：
• 压缩感知①从零开始压缩感知
• 压缩感知②信号的稀疏表示和约束等距性

---

1. Problem

---

香农/奈奎斯特采样定律告诉我们，在信号采集的过程中，采样频率大于带宽的2倍时，能够保证不失真地恢复原始信号。但是在许多应用中，例如数字图像和视频处理，奈奎斯特采样频率非常高，导致采样过程产生大量的数据，这些数据通常需要先进行压缩，才能够进行存储。另一方面，在某些应用中，例如雷达、医学扫描系统、模数转换器等，提高采样率的代价是非常昂贵的¹。许多科研人员意识到，很多采集到的数据在存储时都是可以丢弃的，并不会影响人的感官体验。声音信号、图像信号的有损压缩就是一个很好的例子。这种矛盾引出了一个很自然的疑问：既然明知道采集到的信号有一部分是可以直接丢弃的，为什么我们还要费劲去获取那些本身就没用的信号呢²？

压缩感知技术的引入指出了一条将模拟信号“经济低”转化为数字形式的信号压缩的有效途径：利用变换空间来描述信号，通过直接采集得到少数“精挑细选”的现性观测数据（这些数据包含了信号的全部信息），再通过解一个优化问题可以实现从压缩观测的数据中恢复原始信号。在这样的指导思想下，采集信号的方式不在取决于信号的带宽，而是却决于信号本身的结构和内容。

需要指出的是，传统的奈奎斯特采样采样定律针对的是无限长的连续信号，在信号采集时通常是采用均匀采样，信号重构时采用的是基于正/余弦函数的线性插值；相比之下，压缩感知理论关注的是有限维观测向量，在进行信号采集时通过计算信号与观测函数之间的内积来实现测量，数据恢复时则是通过求解非线性化的优化问题实现重构³。

2. 信号的稀疏表示

---

压缩感知技术应用的前提是待采集的信号需要满足可压缩性，换句话说，这个信号必须在某个域上是稀疏的，这和信号处理中的数据压缩有异曲同工之妙。以一个有损压缩的过程为例，根据调和理论，任何可压缩信号$x\in {\mathbb{R}}^{N\times 1}$在都可以用一组稀疏基$\{{\psi }_i{\}}_{i=1}^N$来表示

$$x=\sum _{i=1}^N{\psi }_i{\theta }_i或x=\Psi \theta \text{\hspace{1em}(1)}$$

其中，稀疏基$\Psi =[{\psi }_1,{\psi }_2,...,{\psi }_N]\in {\mathbb{R}}^{N\times N}$，系数向量$\theta =[{\theta }_1,{\theta }_2,...,{\theta }_N{]}^T$

注意到信号$x$变换到稀疏域后并非每一个系数都为零，为了进一步说明可压缩信号的概念，这里引入能量递减规律。假设系数向量满足$|{\theta }_1|\ge |{\theta }_2|\ge ...|{\theta }_N|$，并且存在正常数$C$和$q$ ，如果有
$$|c_i|\le C{i}^{-q}\text{\hspace{1em}(2)}$$
则称该信号的系数满足能量递减规律，称信号$x$为可压缩信号。其中$q$值越大，信号的系数衰减速度越快，信号的可压缩性也越强。由于信号在稀疏变换域的能量系数衰减速度非常快，因此在进行信号压缩时只需保留少数最大的系数就能给保留原始信号的几乎所有的能量。信号的可压缩性是压缩感知技术应用的基础。

进一步的，当系数向量$\theta =[{\theta }_1,{\theta }_2,...,{\theta }_N{]}^T$中仅有$K$个系数不为零，意味着信号$x$可以由$K$组基向量的线性组合进行表示，并且$K\ll N$，则称信号$x$是可压缩的并且在$\Psi$空间下是$K$稀疏的。

根据信号的可压缩性，传统压缩的策略如下：编码过程，构造一个正交的稀疏矩阵，对待测信号$x$进行稀疏表示得到$\theta \in {\mathbb{R}}^{N\times 1}$，采样时只保留$\theta$中最大的$K$个系数的大小和其对应的位置；解码过程，根据$K$个系数的大小和其对应的位置可以通过补零的方式构成$\theta$，利用正交逆变换可由$\theta$得到$x^{\ast }$。为了保证采样的有效性，我们希望

$$\frac{\parallel x^{\ast }-x{\parallel }_2}{\parallel x{\parallel }_2}<\delta \text{\hspace{1em}(3)}$$

其中$\delta$是一个尽可能小的常数。

然而这个策略有几个弊端：一是由于香农定理的限制，为了保证获得更好的信号分辨率，需要更小的采样间隔，导致原始信号长度更长，消耗时间和空间；二是由于重要分量的位置是随着信号的变化而改变的，需要额外分配空间存储这些分量；三是重要分量在存储或者传输过程中出现偏差，会导致原始信号将受到破坏性的扰动。压缩感知技术通过线性观测实现了信号的压缩采样，从而避免了这些弊端。

3. 约束等距性

---

为了进一步说明，这里引入约束等距常数（Restricted Isometry Property，RIP）

定义：（约束等距常数⁴）对于传感矩阵$A$及所有$K$稀疏信号$v\in {\mathbb{R}}^{\mid T\mid }$，满足
$$(1-{\delta }_K)\parallel v{\parallel }_2^2\le \parallel A_{T}v{\parallel }_2^2\le (1+{\delta }_K)\parallel v{\parallel }_2^2\text{\hspace{1em}(4)}$$

最小的${\delta }_K$成为约束等距常数，称$A$满足$K$阶约束等距性。式中，$T\subset \{1,...,N\}$，$\mid T\mid \le K$，$A_T$为$A$中由索引$T$所指使的对应列构成的大小为$K\times \mid T\mid$的子矩阵。

考虑一个线性观测过程：将信号$x$和向量集$\{{\varphi }_i{\}}_{j=1}^M$做内积得到$Y_i=<x,{\varphi }_i>$，写成矩阵形式，有
$$y=\Phi x=\Phi \Psi \theta \text{\hspace{1em}(5)}$$

其中$A=\Phi \Psi$，$y\in {\mathbb{R}}^{M\times 1}$，$M<N$。注意到这个线性观测的过程将一个$N$维的待测信号投影到了一个$M$维的空间。现考虑根据测量向量$y$重构信号$\theta$，由于$M<N$，显然这个问题是病态的。

这里需要考虑两个问题：一是如何找到一个稳定的观测矩阵$\Phi$，使得观测维度从$N$减少到$M$的过程不会导致稀疏信号中的显著信息被破坏；二是如何设计一个有效的重构算法，从仅有观测数据中尽可能完整、精确地恢复出原始的数据¹？

压缩感知理论表明，若信号$\theta$是稀疏的，则通过求解以下$l_0$范数优化问题对其进行重构⁵：
$$min\parallel \theta {\parallel }_{0}s.t.\Phi \Psi \theta =y\text{\hspace{1em}(6)}$$

其中$\parallel \theta {\parallel }_0$为$\theta$的$l_0$范数，即$\theta$中非零元素的个数。

文献⁴指出，若传感矩阵$A=\Phi \Psi$满足$2K$阶约束等距性，即对于任意$K$稀疏信号$v\in {\mathbb{R}}^{\mid T\mid }$和常数${\delta }_{2K}<1$，使得

$$(1-{\delta }_{2K})\parallel v{\parallel }_2^2\le \parallel A_{T}v{\parallel }_2^2\le (1+{\delta }_{2K})\parallel v{\parallel }_2^2\text{\hspace{1em}(4)}$$

成立，其中$T\subset \{1,...,N\}$，$\mid T\mid \le 2K$，则可以保证式(6)有唯一解。

然而， 范数优化问题(6)是一个NP完全问题，因此无法在多项式时间内求解。幸运的是，文献⁵指出，若${\delta }_{2K}<\sqrt{2}-1$，$l_0$范数优化问题(6)的解与$l_1$范数优化问题

$$min\parallel \theta {\parallel }_{1}s.t.\Phi \Psi \theta =y\text{\hspace{1em}(6)}$$

的解是等价的，换句话说，凸松弛是准确的。进一步的，文献⁶给出了更加严格的边界条件，即${\delta }_{2K}<0.307$。

另一方面，文献⁷指出，在已知信号稀疏性的情况下，凭借较采样定理所规定的更少的采样次数重建原始信号是可能的。

可以看到，约束等距性是保证压缩感知信号能够被成功重构的必要条件。具体来说，它约束的是传感矩阵 ，而约束等距常数描述的是稀疏信号对应的传感矩阵中的列向量之间的正交性，它保证了传感矩阵不会把两个不同的K稀疏信号映射到同一个集合中。

约束等距性有良好的约束性，然而实际应用中若要直接构造一个矩阵满足RIP则需要枚举出总共$C_N^K$种情况，并通过式(4)进行验证该矩阵是否满足约束等距性，这显然是麻烦的。文献¹指出观测矩阵和稀疏矩阵的相关性可以作为约束等距性的等价条件，该条件要求观测矩阵的行向量$\{{\varphi }_i\}$不能够由稀疏矩阵的列向量$\{{\psi }_i\}$稀疏表示，并且稀疏矩阵的列向量$\{{\psi }_i\}$也不能够由观测矩阵的行向量$\{{\varphi }_i\}$稀疏表示。而直接构造一个观测矩阵$\Phi$使得$A=\Phi \Psi$满足约束等距性，即保证矩阵中任意$2K$列都不相关很难实现。然而，文献⁷和文献⁴指出，当观测矩阵是高斯随机矩阵时，传感矩阵 能够以较大的概率满足约束等距性。

最后：请各位看官在评论区留下您的看法，期待与各位交流，共同进步。请各位大佬批评指正！

参考文献

---

1. Baraniuk, R.G., 2007. Compressive sensing [lecture notes]. IEEE signal processing magazine, 24(4), pp.118-121. ↩︎ ↩︎ ↩︎

2. Donoho, D.L., 2006. Compressed sensing. IEEE Transactions on information theory, 52(4), pp.1289-1306. ↩︎

3. 焦李成, 杨淑媛, 刘芳 and 侯彪, 2011. 压缩感知回顾与展望. 电子学报, 39(7), p.1651. ↩︎

4. Candes, E.J. and Tao, T., 2005. Decoding by linear programming. IEEE transactions on information theory, 51(12), pp.4203-4215. ↩︎ ↩︎ ↩︎

5. Candès, E.J., Romberg, J. and Tao, T., 2006. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information. IEEE Transactions on information theory, 52(2), pp.489-509. ↩︎ ↩︎

6. Cai, T.T., Wang, L. and Xu, G., 2010. New bounds for restricted isometry constants. IEEE Transactions on Information Theory, 56(9), pp.4388-4394. ↩︎

7. Candes, E.J., Romberg, J.K. and Tao, T., 2006. Stable signal recovery from incomplete and inaccurate measurements. Communications on Pure and Applied Mathematics: A Journal Issued by the Courant Institute of Mathematical Sciences, 59(8), pp.1207-1223. ↩︎ ↩︎