Compressed sensing(压缩感知系列)

压缩感知(一)

压缩感知理论的三个部分

• 一、信号的稀疏表示
  信号的稀疏表示分为两类
  一类是基于表示式的稀疏表示：比如小波基，DCT基等
  一类是基于冗余字典或者超完备字典的稀疏表示
  这里主要讲overcomplete dictionary 的学习
  Dictionary learning 的两个过程
  -Sparse Coding
  -Dictionary Update

  Sparse Coding 是固定字典D,然后找稀疏表示X。
  Formulation
  

  minX||X||0s.t||Y−DX||2F≤ϵ
  
  主要有三种类别求解稀疏表示
  第一种贪婪法（Greedy）:OMP正交匹配追踪算法，SP子空间追踪,CoSaMp压缩信号匹配追踪等。
  第二种L1近似（L1-approach）:将X的L0 relax to L1进行求解，转换成一个凸优化问题。
  
  minX||X||1s.t||Y−DX||2F≤ϵ
  也等价于
  minX12||Y−DX||2F+λ||X||1≤ϵ
  
  第三种贝叶斯近似（Bayesian-approach）
  Relevance vector machine (RVM) 和 Bayesian compressed sensing (BCS)。（略）

  Dictionary Update 是固定稀疏表示 X ，然后更新字典 D 。
  经过稀疏表示后，获得的了稀疏表示 X 和字典 D0 (这个 D0 是初始化的 D0 ),所以我们要对D进行更新。
  现在的字典学习方法主要分为：最开始使用的MOD方法，由K-means思想获得的灵感的K-SVD方法，Online方法等，总体而言Online方法更快。
  对比：
  MOD方法
  MOD方法更新字典的步骤就是求解下列最小二乘解的过程：
  

  minD||Y−DX||F
  
  等价于
  D=YXT(XXT)−1=YX+
  
  KSVD方法
  相比于MOD方法一次性更新字典的不同，KSVD更新字典则是通过多次来更新的，也就是根据按atom来更新的。 过程如下：

  
  
  
  
  

  Ek=Y−∑djxTkj≠k
  
  误差值:
  Enorm=||Ek||2F
  
  这个过程中将 dk 对应的稀疏系数所在的行 xTk 的值至0，相当于将第 k 个基向量进行了剥离，表达就产生空洞，然后如何找一个新的基来填补这个空洞就是由 SVD 分解事。当误差值稳定时，字典是收敛的。
  对 E 进行 SVD 分解，
  E=UΣV=∑λiuiviλ1>λ2...>λii=1,2,3...n
  
  选择最大奇异值来近似 E≈λ1u1v1 。更新 D=U 和 X=ΣVT 。
  Online方法
  Online方法，运用block-coordinate descent with warm restarts,他的优点在于参数自由和不需要学习速率调整，而且不需要存储所有的 xi 和 αi ，每次仅仅计算一次 xi 和 αi ，然后更新两个辅助矩阵 A 和 B 。
  At⟵At−1+αtαTtBt⟵Bt−1+xtαTt
  其中 t 表示第几次迭代。
  然后进行字典的更新过程
  
  forj=1...kuj⟵1A[j,j](Bj−DAj)+Djdj⟵1max(||uj||2,1)uj
  
  其中 k 为 Dm∗k 字典的列数。

Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing, IEEE Transactions on, 2006, 15(12): 3736-3745.