## 7.3 奇异值分解的几何意义

7.3 奇异值分解的几何意义

根据 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 知矩阵 $A$ 把行空间正交基 ${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r$ 变换为列空间垂直基(向量两两垂直，不是单位向量) ${\sigma }_1{\mathbf{u}}_1,\cdots ,{\sigma }_r{\mathbf{u}}_r$ ，该垂直基的方向是列空间正交基 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r$ 方向，这些向量只是尺度不再是单位长度，而是有伸缩，当 ${\sigma }_i>1$ 时变长，${\sigma }_i<1$ 时变短，${\sigma }_i=1$ 时不变。故矩阵 $A$ 在矩阵 $A$ 行列空间中构成一一映射。 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ ，${\mathbf{v}}_i$ 可以看作高维单位球的半径，${\sigma }_i{\mathbf{u}}_i$ 看作高维椭球的半径，故矩阵 $A$ 把球变换为椭球。

$A^{+}({\sigma }_i{\mathbf{u}}_i)={\mathbf{v}}_i$ 伪逆相反，把列空间垂直基 ${\sigma }_1{\mathbf{u}}_1,\cdots ,{\sigma }_r{\mathbf{u}}_r$ 变换为行空间正交基 ${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_r$ ，故伪逆 $A^{+}$ 在矩阵 $A$ 行列空间中构成一一映射。伪逆 $A^{+}$ 在矩阵 $A$ 行列空间中是矩阵 $A$ 映射的逆映射，这是伪逆的本质特征。

根据矩阵奇异值分解 $A=U\Sigma V^T$ 对任意向量 $\mathbf{x}$ ，$A\mathbf{x}=U\Sigma V^T\mathbf{x}$ ，所以矩阵 $A$ 对向量 $\mathbf{x}$ 的变换作用等效于三个矩阵 $U,\Sigma ,V^T$ 的作用，即先进行 $V^T$ 变换，由于正交矩阵变换类似于旋转变换，可以把 $V^T\mathbf{x}$ 看作仅对 $\mathbf{x}$ 进行了旋转；因为 $\Sigma \mathbf{x}=({\sigma }_1{x}_1,\cdots ,{\sigma }_n{x}_n)$ 仅对 $\mathbf{x}$ 进行了尺度变换，即每个坐标轴分量长度变为原来的 ${\sigma }_i$ 倍；$U\mathbf{x}$ 看作仅对 $\mathbf{x}$ 进行了旋转。所以矩阵 $A\mathbf{x}$ 总效果是先进行旋转，再尺度变换，最后旋转，旋转和尺度变换解耦了。线性变换就是旋转变换和尺度变换的复合。

按照这个思路，伪逆 $A^{+}=V{\Sigma }^{+}{U}^T$ 是先进行旋转 $U^T$，再尺度变换 ${\Sigma }^{+}$，最后旋转 $V$ 。矩阵转置 $A^T=V\Sigma U^T$ 是先进行旋转 $U^T$，再尺度变换 $\Sigma$，最后旋转 $V$ 。注意这两个变换，旋转变换完全相同，只有尺度变换不同，故矩阵转置某些性质类似逆矩阵，比如 $(AB{)}^T=B^T{A}^T，(AB{)}^{-1}=B^{-1}{A}^{-1}$ ，都需要改变顺序。

$A^{+}A=V_r{V}_r^T=V{E}^{\prime }{V}^T$ ，先进行旋转 $V^T$，再尺度变换 $E^{\prime }$，最后旋转 $V$ ，注意 $E^{\prime }$ 变换是前 $r$ 分量保持不变，后 $n-r$ 分量变为 $0$ 。总效果是前 $r$ 分量保持不变，后 $n-r$ 分量变为 $0$ ，即投影变换。
$A{A}^{+}=U_r{U}_r^T=U{E}^{\prime }{U}^T$ ，先进行旋转 $U^T$，再尺度变换 $E^{\prime }$，最后旋转 $U$ ，注意 $E^{\prime }$ 变换是前 $r$ 分量保持不变，后 $m-r$ 分量变为 $0$ 。总效果是前 $r$ 分量保持不变，后 $m-r$ 分量变为 $0$ ，即投影变换。

$A^{T}A=V{\Sigma }^2{V}^T$ ，先进行旋转 $V^T$，再尺度变换 ${\Sigma }^2$，最后旋转 $V$。

$A{A}^T=U{\Sigma }^2{U}^T$ ，先进行旋转 $U^T$，再尺度变换 ${\Sigma }^2$，最后旋转 $U$。