MIT_线性代数笔记：第 33 讲 左右逆和伪逆

本节主要介绍左右逆矩阵和伪逆矩阵。

两侧逆矩阵 2-sided inverse

矩阵 A 的两侧逆矩阵 A-1满足 $A{A}^{-1}=I=A^{-1}A$。这就是我们通常说矩阵 A 的逆矩阵。此时 r=m=n，A 为满秩方阵。

左逆矩阵 Left inverse

矩阵 A 的列满秩 r=n，列向量线性无关。则矩阵的零空间 N(A)只有零向量，方程 Ax=b 无解或者有唯一解。当矩阵 A 列满秩的时候，矩阵 ATA 为可逆矩阵，这是讨论最小二乘问题的核心。

矩阵$A^{T}A$是 n x n 的对称矩阵且满秩，因此 $A^{T}A$ 是可逆矩阵，即$(A^{T}A{)}^{-1}{A}^{T}A=I$。我们称$A_{left}^{-1}=(A^{T}A{)}^{-1}{A}^T$为 A 的左逆矩阵。$A_{left}^{-1}$为 n x m 矩阵，而 A 为 m x n 矩阵，$A_{left}^{-1}A=I$ 是 n x n 矩阵。

右逆矩阵 Right inverse

矩阵 A的行满秩 r=m，行向量线性无关。则矩阵的左零空间$N(A^T)$只有零向量。A 的零空间维数为 n-m，因此有 n-m 个自由变量，n 大于 m 时，方程 Ax=b 有无穷多解。

矩阵 A 的右逆矩阵为 $A_{right}^{-1}=A^T(A{A}^T{)}^{-1}$。
通常情况下右乘左逆矩阵得不到单位阵，$A{A}_{left}^{-1}=A(A^{T}A{)}^{-1}{A}^T=P$，这是列空间的投影矩阵。仅在 m=n 的条件下，$A{A}_{left}^{-1}=I$。一个长方形矩阵 A 不可能有两侧逆，因为 A 和 $A^T$总有一个零空间的维数不是 0。 同样的，左乘右逆矩阵得到的是 $A_{right}^{-1}A=A^T(A{A}^T{)}^{-1}A$，这是向行空间投影的矩阵，投影矩阵在投影空间内表现的就像单位阵 I 一样。

伪逆矩阵 Pseudoinverse

可逆矩阵的零空间和左零空间只有零向量。列满秩的矩阵的零空间只有零向量，行满秩的矩阵的左零空间只有零向量。但对于不满秩的矩阵（r

观察不满秩矩阵 A 的四个子空间，其行空间和列空间的维数相等，均为 r。在其行空间中的向量 x 经过矩阵 A 操作后，变为列空间中的向量 Ax。而 x 与 Ax 为一一对应的关系。如果将矩阵 A 限制在行空间和列空间上，它是个可逆矩阵，此时A 的逆矩阵就是所谓的“伪逆矩阵 $A^{+}$。

问题的关键就是一一对应，即对于行空间中的向量 x≠y，其通过矩阵 A 映射到列空间得到的向量 Ax≠Ay。

证明：若行空间中存在向量 y 与向量 x 在列空间中对应的向量相同，则有Ax-Ay=0，即 A(x-y)=0，则 x-y 为矩阵 A 零空间中的向量，但矩阵的行空间对线性运算封闭，因此 x-y 为行空间中的向量，因两个子空间正交，所以有(x-y)=0，即 x 与 y 相同。因此行空间与列空间中的向量为一一对应。

统计学家非常需要伪逆矩阵，因为他们要做很多最小二乘法进行线性回归的问题。如果矩阵不满秩，则 $A^{T}A$ 不可逆，所以无法用之前的办法解决，此时要用到伪逆矩阵。

求伪逆矩阵 $A^{+}$的一个方法是利用奇异值分解 $A=U\Sigma V^T$，其中对角阵Σ是由矩阵奇异值排列在对角线上构成的 m x n 矩阵，其秩为 r。则其伪逆矩阵${\Sigma }^{+}$为 n x m矩阵，矩阵的秩也为 r。


矩阵Σ右乘伪逆矩阵得到 m x m 矩阵，矩阵对角线前 r 个元素为 1，其它元素均为 0，而左乘伪逆矩阵得到 n x n，矩阵对角线前 r 个元素为 1，其它元素均为 0，这两个都是Σ的投影矩阵，一个投影到行空间，一个投影到列空间。 而矩阵 A 的伪逆矩阵为 $A^{+}=V{\Sigma }^{+}{U}^T$。

逆矩阵满足四个性质：
$A{A}^{+}A=A$
$A^{+}A{A}^{+}=A^{+}$
$A{A}^{+}=(A{A}^{+}{)}^T$
$A^{+}A=(A^{+}A{)}^T$
注意：$A{A}^{+}=U\Sigma V^{T}V{\Sigma }^{+}{U}^T=U\Sigma {\Sigma }^{+}{U}^T$得到的并不是形如$\Sigma {\Sigma }^{+}$这种对角线上只有 1 和 0 的对角阵，所得结果是 A 行空间的投影矩阵。

例如 A=$\left[\begin{array}{c}1\\ 1\end{array}\right]$ ，通过奇异值分解计算可以得到 $A^{+}=\left[\begin{array}{cc}1/2& 1/2\end{array}\right]$ 。而 $A{A}^{+}=\left[\begin{array}{cc}1/2& 1/2\\ 1/2& 1/2\end{array}\right]$。