稀疏表示（sparse representation）和字典学习（一）

近十几年来，稀疏（sparsity）已经成为信号处理及其应用领域中处于第一位的概念之一。近来，研究人员又致力于过完备（overcomplete）信号表示的研究。这种表示不同于许多传统的表示。因为它能提供一个广阔范围的生成元素（atoms）。而冗余（redundant）信号表示的魅力正在于其能经济地（紧致）的表示一大类信号。对稀疏性的兴趣源自于新的抽样理论-压缩传感（compressed sensing）的发展，压缩传感是香农采样理论的一种替代，其利用信号本身是稀疏的这一先验，而香农理论是设计用于频率带宽有限的信号的。通过建立采样和稀疏的直接联系，压缩传感在大量的科学领域，如编码和信息论，信号和图像采集处理，医学成像，及地理和航天数据分析等都得到应用。压缩传感的另一贡献是许多传统的逆问题，如断层图像重建，可以看作压缩传感问题。这类病态（ill-posed）问题需要正则化。压缩传感对寻求系数性解的方法给出了强大的理论支持。

1、什么是稀疏性

设信号x是RN的有限维子空间向量，x=[x[1],x[2],...,x[N]], 如果x的绝大多数元素都为0，则x是严格稀疏的。

如果信号不稀疏，它却可能在某种变换域中稀疏。我们可以用T个基本波形（signal atoms）的线性组合来建模x，有

x=  φa=sum(a[i]φ[i])

其中a[i]称为在字典φ中信号x的表示系数。

2、稀疏性的几个名词

1）原子（atom） 如前所述，原子是信号表示模板的元素。

2）字典  是许多原子的排序集合，可看作是一个NxT的矩阵，如果T>N, 则为过完备或冗余字典。

 

参考文献：

Sparse image and signal processing.