矩阵的奇异值分解

线性代数中，我们所说的矩阵的特征分解，即为：

然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。

对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积，其中为的矩阵，为的方阵，为的矩阵，为的矩阵。

矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？

一个矩阵乘以它的转置即为方阵。

那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下，是半正定矩阵：。

由于满足矩阵交换乘积，有，且。

我们可以设的特征值为，设的特征值为，且不为0的特征值个数相等。因此，有

矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。

---

刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。

令，为矩阵对角线元素。

奇异值分解后的矩阵可以表示为：

令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子：

压缩钱图像矩阵为，意味着参数有个，只取前个特征值，参数有。误差为：。

也可以用作在神经网络的加速运算，之后提及。

下面是图片压缩的例子（转自知乎@DeepWeaver）

保留了前10个特征值（压缩率122）

保留前30个特征值（压缩率31）

保留前50个特征值（压缩率17）

保留97个特征值，几乎为原图的一半