【笔记】压缩感知（1）

1、字典概念

http://blog.csdn.net/jbb0523/article/details/45099655

这个博客把冗余字典与完备字典讲的很好。完备字典是线性无关的，冗余字典是线性相关的（但也是有完整的基的）。故而使用完备字典的表示是唯一的，使用冗余字典的表示不是唯一的。这个博客还讲了使用冗余字典进行匹配追踪(MP)中，字典原子不是相互正交的向量。因此上面减去投影计算残差的过程中会再次引入与前面使用的原子不正交的成分。

摘自： 定义表达你的信号空间的归一化基本模块作为字典。这些归一化向量叫做原子。如果字典的原子张成了整个信号空间，那么字典就是完全的。如果有原子之间线性相关，那么字典就是冗余的。在大多数匹配追踪的应用中，字典都是完全且冗余的。

    一个重要的问题是是否存在一种最好的表达方式，一种直观的最好方式是选择φ_k使得近似信号和原始信号有最大的内积，如最好的φ_k满足

即对于正交原子，为投影到由φ_k张成的子空间上的幅值。匹配追踪（BP）的中心问题是你如何选择信号在字典中最优的M个展开项。

        用Φ={ φ_k}表示一个原子归一化的字典，x表示信号。匹配追踪（BP）算法流程如下：

        (1)首先初始化残差e₀=x；

        (2)匹配追踪的第一步是从字典中找到与e₀的内积绝对值最大的原子，表示为φ₁；

        (3)通过从e₀减去其在φ₁所张成空间上的正交投影得到残差e₁；

其中<e₀, φ₁>表示e₀与φ₁的内积。由于已经说明Φ为原子归一化的字典，即φ₁为单位列向量，所以e₀在φ₁所张成空间上的正交投影可以表示为<e₀, φ₁>φ₁ (由于为一个向量，所以e₀在φ₁所张成空间上的正交投影即为e₀在φ₁方向上的正交投影分量)，若φ₁不是单位列向量&