压缩采样学习

传统的采样信号方法必须遵守香浓采样定理。CS理论认为可以通过远少于传统方法次数来恢复图像。依赖两个原理：1 稀疏度2非相干性
稀疏度：连续信号的“信息率”比由其带宽表现的小很多，离散信号由其自由度决定，这比它本身的长度小得多。更精确的说，CS利用了这样的事实：大多数自然信号是稀疏且可压缩的，他们在合适的基下有更紧凑的表示。
非相干性扩展了时间和频率的二元性，表达了如下的观点：有稀疏表示的物体必须在他们获得的域被铺开延展，就像时域Dirac函数在频域里被铺开延展。换句话说，非相干性认为不同于感兴趣的信号，采样的波形在$\Psi$下有着稠密的表示。
关键的观测是一个人可以设计有效感知或者采样工具来捕获在一个稀疏信号的有效信息并压缩成小的数据量。这些工具是非改进的并且只需要关联信号和固定的波形（和稀疏基非相干）。在不理解信号下这些采样工具让传感器有效捕获稀疏信号的信息。并且，有方法使用数值优化来重构完整信号

感知问题

$y_k=⟨f,{\phi }_k⟩,k=1,\dots ,m$关联我们物体和波形${\phi }_k(t)$(可以是正弦的波形，y即为傅立叶系数)
我们感兴趣的问题为欠采样问题：$A\tilde{f}=y$对于n维度的f的信号进行远少于n的m次测量。场景诸如：传感器数目有限，测量昂贵，只能测量几次如（MRI）

稀疏度：大多自然信号在某种基下可以稀疏表示。此时可以丢弃小的稀疏而感觉上没什么损失。
$f(t)={\sum }_{i=1}^n{x}_i{\psi }_i(t)$考虑$x_S$为保留含有S非0元素的信号。$f_S:=\Psi x_S$由于$\Psi$是正交基，存在${\Vert f-f_S\Vert }_{{\ell }_2}={\Vert x-x_S\Vert }_{{\ell }_2}$
若x是稀疏的那么$x_i$强度排序后下降迅速，那么${\Vert f-f_S\Vert }_{{\ell }_2}$的误差很小，也就是说我们可以扔掉稀疏而没有多大损失。这也是很多JPEG-2000编码器的原理。
非相干采样
假设我们有一对$(\Phi ,\Psi )$正交基。第一组基$\Phi$用来感知物体f，第二个用来表示f。两个正交基的相干性可以表达为:$\mu (\Phi ,\Psi )=\sqrt{n}\cdot {\max }_{1\le k,j\le n}\left|⟨{\phi }_k,{\psi }_j⟩\right|$相干性测量了两组基下最大的关联的关联性。
压缩采样主要用低的关联对。例如：$\Phi$是${\phi }_k(t)=\delta (t-k)$,而$\Psi$是傅立叶基，${\psi }_j(t)=n^{-1/2}{e}^{i2\pi jt/n}$。由于$\Phi$是感知矩阵，对应经典采样方案，满足$\mu (\Phi ,\Psi )=1$
第二个例子$\Phi$是噪声基,而$\Psi$是小波基。和小波基的相干性为$\sqrt{2}$D4和D8小波基为2.2,2.9
最后，随机矩阵和任何$\Psi$是非相干的。
欠采样和稀疏信号恢复
$y_k=⟨f,{\phi }_k⟩,k\in M$
通过下面式子
${\min }_{\tilde{x}\in {\mathbb{R}}^n}\Vert \tilde{x}{\Vert }_{{\ell }_1}\text{ subject to }{y}_k=⟨{\phi }_k,\Psi \tilde{x}⟩,\forall k\in M$
在满足$\tilde{f}=\Psi \tilde{x}$下找到最$l1$范数的x
理论
1相干度越小，需要越少的采样，
2
小波域的稀疏性可以用来信号获取后的压缩，广泛使用在jpeg使用图像$8\times 8$的小块的离散余弦变换。视频信号mpeg使用一维的DCT和复杂的视频编码格式如H.264
信号获取后使用有损的编码的缺点在于大量采集的信号并未实际参与最后信号的表达。在很多设备中，测量的分辨率（采样时间和测量的空间分辨率）这会严重限制系统的带宽。测量时间也会被限制。
因此，一个更好地获取稀疏表达下信号的方法是直接记录稀疏域的信号。使用一个线性变换$\Phi$