矩阵的SVD分解

矩阵的奇异值分解在最优化问题、统计学方面等等起到了很大的作用。写这篇文章的原因主要是最近在复习《矩阵论》，感觉书中写的奇异值分解还是很详细的，所以就有想将它写下来的欲望。在介绍奇异值分解之前，首先得知道矩阵的正交对角分解。

矩阵的正交对角分解

有推论可得存在一个n阶实对称矩阵，则存在正交矩阵，使得

以上成立的条件是是实对称矩阵，但对于实的非对称矩阵，不再有上式的分解，所以就有了下面的正交对角分解。

定理：设可逆，则存在正交矩阵和，使得

其中。

上式是一个比较简单的证明，试想不是一个实对称矩阵，那么就得把它变成一个实对称矩阵，能想到的就是，可以得到它是一个实对称矩阵，那么得到

其中的特征值都是大于0的，因为，是一个对称正定矩阵，令：

，

得到，两边同时左乘得到，两边再右乘，得到，

令，可知它是一个正交矩阵，所以就可以得到。

矩阵的奇异值分解

由于在实际过程中，矩阵的行和列往往是不相等的，而且矩阵的逆也不一定都存在，所以，这就需要奇异值分解了。

定义：

设，的特征值为（r为A的秩）

则称为的奇异值。

（奇异值分解）定理:

设，则存在m阶酉矩阵（相当于复数域上的正交矩阵）U和n阶酉矩阵V，使得

其中。

证：根据矩阵的正交对角分解，可以得到，两边同时左乘以V，并将V分解为，所以可以写成

将前面的式子两边左乘，再左乘得到，可以设，则，即的r个列向量是两两正交的单位向量，，将其扩充到的标准正交基，就是增加向量，则

于是可得

$U^HAV=U^HA\begin{bmatrix}V_1 \quad V_2\end{bmatrix}=\begin{bmatrix}U_1^T \\ U_2^T\end{bmatrix} \begin{bmatrix}U_1 \Sigma \quad O \end{bmatrix}=\begin{bmatrix}U_1^HU_1 \Sigma \quad O \\U_2^H U_1\Sigma \quad O\end{bmatrix}=\begin{bmatrix} \Sigma \quad O \\O \quad O\end{bmatrix}$

所以

由上面的证明可以看出SVD分解并不是唯一的。

其它

根据对矩阵A进行SVD分解，记U和V的列向量分别为和，可以得到

第一个式子表示矩阵A的零空间是由的列向量张成的空间，可以证明：

上式经常用于求解齐次线性方程组，根据它的零空间，可以得到x的值就是列向量的线性组合

第二个式子表示矩阵A的值域是，可证：

所以两者的值域是一样的。

参考书籍

《矩阵论》张凯院、徐仲

矩阵的SVD分解

矩阵的正交对角分解

矩阵的奇异值分解

定义：

（奇异值分解）定理:

其它

参考书籍

你可能感兴趣的:(矩阵的SVD分解)