稀疏编码（Sparse Coding）

稀疏编码（Sparse Coding）的思想是通过码本（Codebook） {di}Ki=1,di∈Rd { d i } i = 1 K , d i ∈ R d 的线性组合来重构输入变量 x∈Rd x ∈ R d ，而每个码本的权重系数构成一个向量 y∈Rm y ∈ R m 。由于在重构时一般只会用到码本中少数的码字，因此向量 y y 通常是稀疏的。稀疏编码可以通过最小化一下目标函数得到：

miny∥∥∥xt−∑i=1Kdi[y]i∥∥∥2+λ∥y∥1 min y ‖ x t − ∑ i = 1 K d i [ y ] i ‖ 2 + λ ‖ y ‖ 1

其中 λ λ 是正则化系数， [y]i [ y ] i 表示 y y 的第 i i 个元素，即在重构中第 i i 个码字的系数。