奇异值分解,逆,左逆,右逆与伪逆

  奇异值分解(Singular Value Decomposition, SVD)可以被看做是方阵特征值分解的推广,适用于任意形状的矩阵。

  对于矩阵$A\in \R^{m\times n}$,不失一般性,假设$m\geq n$,奇异值分解期望实现:

$A=U\Sigma V^T$

  其中$U,V$分别为$m,n$阶正交矩阵,其中向量称为左/右奇异向量,$\Sigma$为非负主对角线元素降序排列的$m\times n$对角矩阵,称为奇异值矩阵。如下图所示:

奇异值分解,逆,左逆,右逆与伪逆_第1张图片

  如果$\Sigma$的秩为$r$,可以将矩阵的零略去,得到更紧凑的结果:

奇异值分解,逆,左逆,右逆与伪逆_第2张图片

  奇异值分解一定存在,可以通过构造相应的分解矩阵$U,\Sigma,V$来证明,具体证明看李航《统计学习方法》。证明过程中包含了运算,当然可以直接看更简洁明了的计算方式。简单来说就是计算$AA^T$和$A^TA$的特征值和对应的正交矩阵,用特征值的平方根组成为奇异值矩阵。

  几何意义:在上面第一张图的情况下,对于向量$x$,变换$Ax=U\Sigma V^Tx$可以理解为先进行正交矩阵$V^T$的旋转变换,然后$\Sigma$缩放变换并映射到$m$维空间,最后进行$U$的旋转变换。

  通常奇异值递减很快,因此可以取前几个较大奇异值忽略较小奇异值从而实现矩阵压缩。

  矩阵的逆、左逆、右逆、伪逆,可以通过奇异值分解求得,看这里。其中逆矩阵只有满秩方阵才有,左逆只有列满秩矩阵才有,右逆只有行满秩矩阵时才有,伪逆则是在行列都不满秩时求解一个近似的逆矩阵。伪逆并不能将原始矩阵的操作完全恢复,会有信息丢失。行满秩也可以求右伪逆,列满秩也可以求左伪逆。

你可能感兴趣的:(奇异值分解,逆,左逆,右逆与伪逆)