图像处理中的秩、低秩、稀疏

矩阵的秩

矩阵的秩 = 最大的线性无关的行（或列）向量的个数。对于图像而言，秩可以表示图像中包含信息的丰富程度、冗余程度、噪声。

秩越小：

• 基的个数少
• 数据冗余性大
• 图像信息不丰富
• 图像噪声少
  
  

低秩矩阵

概念

当矩阵的秩较低时（r << n, m），就可以视其为低秩矩阵。低秩矩阵意味着，此矩阵中有较多的行（或列）是线性相关的，即：信息冗余较大。

作用

• 利用低秩矩阵的冗余信息，可以对缺失数据进行恢复，此问题叫做 “低秩矩阵重构” ，即：“假设恢复出来的矩阵是低秩的，利用已有的矩阵元素，恢复出矩阵中的缺失元素”，可以应用在图像修复、协同过滤等领域。
• 在深度学习中，卷积核的参数过多，往往存在较大的冗余，即：卷积核参数是低秩的。此时，可以对卷积核进行低秩分解，将$k\times k$的卷积核分解为一个$k\times 1$和一个$1\times k$的核，这样可以降低参数量、提高计算速度、防止过拟合。

稀疏矩阵

稀疏矩阵和低秩矩阵一样，也代表矩阵中存在较多的冗余信息。但二者不同的是，矩阵越稀疏，表示其包含更多的零元素、更少的非零元素；矩阵越“低秩”，表示其有更多的线性相关的行（或列）。

低秩矩阵不一定稀疏，如：全一矩阵（全一矩阵的秩为1）
稀疏矩阵不一定低秩，如：单位矩阵（n阶单位矩阵的秩为n）

稀疏编码

• 为什么要稀疏编码？
  首先，存在一个假设（也是事实，算是先验知识）——自然界的信号组成是稀疏的。进行稀疏编码后，可以达到降维，提高计算效率的作用。