通俗理解稀疏性sparsity假设：历史、数学表示、物理意义

• 稀疏性假设的历史

（1）稀疏性Sparsity 百度百科

Sparsity is the condition of not having enough of something;the property of being scanty or scattered; lacking denseness. [Vocabulary.com]

稀疏性是一个应用较为广泛的概念，在不同行业领域都有其特定价值：

**a、**数据库：稀疏数据，是指在二维表中含有大量空值的数据，并非无用，只是信息不完善。源自电子航务、文本挖掘、医学造影成像…

**b、**聚类降维：稀疏数据不同于一般数据，它的维度常常极其巨大，并且由于大量的缺失值的存在，使得数据信息极端不完整。数据的稀疏性在压缩传感、信号/图像处理、大数据分析与处理、机器学习和统计推断等领域受到广泛关注并获得了成功的应用。数据恢复则是指将遭到干扰或者破坏的数据还原成真实数据。

**c、**压缩与恢复：稀疏信号是指绝大多数元素为 0 的信号， 与同样长度的普通信号相比， 它包含的信息较少。 因此， 稀疏信号可以充分地压缩， 从而节约储存空间， 减少传输量。

**d、**图像||稀疏表达||其他

​ [转载]如何理解图像信号的稀疏性？

​ Amazon DynamoDB 利用稀疏索引

​ 稀疏表示（Sparse Representations） ：用较少的基本信号的线性组合来表达大部分或者全部的原始信号。

​ 稀疏表达的意义在于？为什么稀疏表达得到广泛的应用？

​ 浅谈深度学习中潜藏的稀疏表达

​ 稀疏性为什么会影响机器学习的计算效率？

笼统的理解，稀疏性是解决高维数据与有效的低维数据之间各类关系的种种角度。汇总在稀疏矩阵中理解。

（2）稀疏矩阵（sparse matrix）

稀疏矩阵（英语：sparse matrix），在数值分析中，是其元素大部分为零的矩阵。反之，如果大部分元素都非零，则这个矩阵是稠密的。在科学与工程领域中求解线性模型时经常出现大型的稀疏矩阵。

• 参数稀疏有什么实际意义

（1）特征选择(Feature Selection)：
大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。一般来说，$x_i$的大部分元素（也就是特征）都是和最终的输出$y_i$没有关系或者不提供任何信息的，在最小化目标函数的时候考虑$x_i$这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确$y_i$的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。

（2）可解释性(Interpretability)：
另一个青睐于稀疏的理由是，模型更容易解释。例如患某种病的概率是y，然后我们收集到的数据x是1000维的，也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设我们这个是个回归模型：
$$y=w1\ast x1+w2\ast x2+\dots +w1000\ast x1000+b\ast$$
（当然了，为了让y限定在[0,1]的范围，一般还得加个Logistic函数）。通过学习，如果最后学习到的w就只有很少的非零元素，例如只有5个非零的wi，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，决策性的。也就是说，患不患这种病只和这5个因素有关，那医生就好分析多了。但如果1000个wi都非0，医生面对这1000种因素，累觉不爱。

所谓稀疏性假设，就是认同上述所谈的种种作为理论基础。

• Reference

1. 机器学习中的范数与稀疏性