稀疏编码(Sparse Coding)

图像是有一些基的线性组合形成。自然图像是个稀疏结构，即任何给定图像都可以用大数据里面的少数几个描述符（基）来表示。寻找使得每个系数的概率分布是单模态并且在0处是峰分布的低熵（low-entropy）方法。

稀疏表示

https://www.cnblogs.com/yifdu25/p/8128028.html
http://www.360doc.com/content/14/0603/11/10724725_383221152.shtml
http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/

稀疏编码

1988年，神经稀疏编码的概念由Mitchison提出，由牛津大学的Rolls等正式引用。灵长目动物颚叶视觉皮层和猫视觉皮层的电生理实验报告和一些相关模型的研究结果都说明了视觉皮层复杂刺激的表达是采用稀疏编码原则的。研究表明：初级视觉皮层V1区第四层有5000万个（相当于基函数），而负责视觉感知的视网膜和外侧膝状体的神经细胞只有100万个左右（理解为输出神经元）。说明稀疏编码是神经信息群体分布式表达的一种有效策略。1996年，加州大学伯克利分校的Olshausen等在Nature杂志发表论文指出：自然图像经过稀疏编码后得到的基函数类似V1区简单细胞感受野的反应特性（空间局部性、空间方向性、信息选择性）。

模型

X = AS
式中，X 表示输入图像，表示为多个基函数的线性组合，A 为基函数组成的矩阵，S 为线性组合时基函数的权值向量

稀疏编码模型可以解释为，人的视觉感知系统将输入图像刺激 X 通过感受野 A 的特征提取，将其表
示为视觉细胞的活动状态 S。S 即为输入图像的稀疏编码。

优化准则

I( x，y) 表示输入图像 X 中的像素值，，${\varphi }_i(x，y)$ 为基函数矩阵 A 中的第 i 个列向量，$a_i$为向量 S 的第 i 个响应值。
第 1 项用原始图像与重构图像之间的误差平方和表示重构图像的信息保持度，第 2 项反映了编码的稀疏程度

典型的sparse coding的过程分为训练和测试。

Training：给定一些训练样本（training samples）[ x1, x2, …, xm(in Rd)]，学习一本字典的基（bases）[Φ1,Φ2……(also in Rd)]。可是用k-means等无监督的方法，也可以用优化的方法（这时training完了同时也得到了这些training samples的codes，这是一个LASSO和QP问题的循环迭代）；

Coding：用优化的方法求解测试样本的codes（此时字典已经学得）
https://blog.csdn.net/jwh_bupt/article/details/9625469