稀疏表示和字典学习的简单理解

特征分类

• 相关特征：对当前有用的属性
• 冗余特征：所包含的信息有时能从其他特征中推演出来。如若某个冗余特征恰好对应了学习任务所需“中间概念”，有时可以降低学习任务的难度。

稀疏表示

• 稀疏性：数据集D对应的矩阵中存在很多零元素，且并不是以整列、整行的形式存在。
• 稀疏表示：用较少的基本信号的线性组合来表达大部分或者全部的原始信号。寻找一个系数矩阵A（KN）以及一个字典矩阵B（MK），使得B*A尽可能的还原X，且A尽可能的稀疏。A便是X的稀疏表示。
  
• 优势
  （1）实质上是对于庞大数据集的一种降维表示。稀疏表示的本质：用尽可能少的资源表示尽可能多的知识
  （2）自然信号的regularizer（约束器），我们在解决inverse problem（逆问题）的时候，例如要想从一切损坏或者噪声中把他们提取出来，如果不加约束的话，会出现很多满足条件的解，并且你无法判断某一个解比其他解更加合适。稀疏表达被广泛地使用来作为自然信号的regularizer：认为这些信号都具有某个域（domian）或者某组基（bases, 或者dictionary）下的sparse representation。不具备如此特性的认为是noise, distortion, non-desirable solution…等这些可以被排除掉。
  摘自知乎：https://www.zhihu.com/question/26602796/answer/33431062

字典学习

为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）。
字典学习的最简单形式为：

其中B（d*k）为字典矩阵，k称为字典的词汇量，通常由用户指定，αi是样本xi的稀疏表示。式中第一项是希望αi能很好地重构xi，第二项则是希望αi尽量稀疏。 其中样本为d维，稀疏表示为k维。之所以用L1范式是因为L1范式正则化更容易获得稀疏解。
—摘自南大周志华老师写的《机器学习》11.5节

• K>d : over-complete（超完备字典）
• k=d : complete，如傅里叶变换和DCT变换
• k

可参考：https://www.sogou.com/link?url=hedJjaC291P3yGwc7N55kLSc2ls_Ks2xgxKo8O_JmDTqQ1WpPEovxr_-KhphhHR0