矩阵分析与应用（四）——逆矩阵、广义逆矩阵和Moore-Penrose逆矩阵

逆矩阵

  逆矩阵的定义：如果对于一个方阵 A ，存在一个方阵 B ，使得 AB=BA=I ，那么我们称 B 为 A 的逆矩阵，记做： A−1=B=1|A|A∗ ，这里 A∗ 代表伴随矩阵。
  一个 n∗n 的方阵存在逆矩阵的充要条件等价于：

1. A 为非奇异矩阵
2. rank(A)=n
3. A 的行向量线性无关
4. A 的列向量线性无关
5. det(A)≠0 ，即行列式不为0
6. Ax=0 只有唯一平凡解 x=0
7. Ax=b 为一致方程，且有唯一解
8. A 的零空间的维度为0

  如果对于方程 Ax=b ，当其中的某些线性约束成立的情况下，其他的线性约束不可能成立，则称该方程为非一致方程。
  矩阵的零空间是指线性方程组 Ax=0 的解向量张成的空间的。

  一些基本的性质这里不赘述，值得一提的是两个矩阵之和的求逆运算，它不同于转置等运算（ (A+B)T=AT+BT ）。

Sherman-Morrison公式：

(A+xyT)−1=A−1+A−1xyHA−11+yHA−1x

  这个公式还有很多形式的变体。

分块矩阵的求逆公式：

当A可逆时，[AVUD]−1=[A−1+A−1U(D−VA−1U)−1VA−1)−(D−VA−1U)−1VA−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1

当A，D可逆时，[AVUD]−1化简为：[(A−UD−1V)−1−D−1V(A−UD−1V)−1−A−1U(D−VA−1U)−1(D−VA−1U)−1]−1

广义逆矩阵

  我们看到，逆矩阵的定义仅仅针对方阵而言，但是实际应用中，我们遇到的很多问题并不满足这个条件，将矩阵的逆的定义扩展到任意矩阵，得到我们的广义逆矩阵：
  如果一个矩阵 L 满足 LA=I，A∈Rm∗n ，则我们称 L 为A的广义逆矩阵，特别地，对于 LA=I ，我们称为左逆矩阵，只有当 m≥n 时， A 才可能有左逆矩阵；对于 AL=I ，我们称为右逆矩阵，只有当 m≤n 时， A 才可能有右逆矩阵。
  证明如下，考虑 m≥n ：

A=[BC]，其中B∈Rn∗n，令L=[X,Y]满足LA=I，

我们有XB+YC=I，如B非奇异（这是可能的），只需要令X=B−1，Y=O即可

  一个矩阵的广义逆矩阵往往不是唯一的，特别地，有以下形式的广义逆矩阵：

左逆：L=(AHA)−1AH唯一，且称为左伪逆矩阵

右逆：L=AH(AAH)−1唯一，且称为右伪逆矩阵

   是不是很眼熟？对了，这就是和最小二乘密切相关的两个广义逆矩阵！，左逆对应于超定问题（非一致方程）的最小二乘解，右逆对应于欠定问题（一致方程）的最小范数解。

---

  现在，我们将左逆和右逆统一起来，用线性方程组的解的形式来描述：

对于A∈Rm∗n，秩任意，则A的广义逆矩阵是一个n∗m矩阵G

并使得当Ax=y(y≠0)为一致方程时，有解x=Gy，当且仅当G满足AGA=A

  最后一个等式也是广义逆的定义式： A−存在↔AA−A=A

  定理：

• A−存在↔A−A和AA−皆为幂等矩阵，即(AA−)2=AA−,(A−A)2=A−A
• A−存在↔rank(A)=rank(AA−)或rank(A)=rank(A−A)

广义逆矩阵的计算

  定理：对于任意的秩为 r 的矩阵 A ，都可以分解为：

A=Fm∗rGr∗n,F和G分别为列满秩和行满秩

  称为矩阵的 满秩分解，求解步骤如下

1. 将 A 通过行初等变换化为阶梯矩阵，得到 A=[GO]

2. 对单位矩阵执行上述变换的逆变换，得到 I→P−1

3. A=FG ，其中 F 为 P−1 前 r 列组成的子矩阵

---

  则 A 的广义逆矩阵可以用以下公式求解：

A−=GT(FTAGT)−1FT

  容易验证，它满足广义逆矩阵的定义式 AA−A=A
  且F和G分别为列满秩和行满秩，所以 (FTAGT)−1=(FTFGGT)−1=(FTF)−1(GGT)−1 一定存在。

  回过头来，我们看看用广义逆矩阵来定义线性方程的解会有什么结论：

  定理1：齐次方程 Ax=0 的一个通解为 x=(I−A−A)z ，其中 z 为任意的n*1向量。
  定理2：非齐次方程 Ax=y 为一致方程的充要条件为： AA−y=y 。
  定理3：非齐次方程 Ax=y 的一个通解为 x=A−y+(I−A−A)z ，其中 z 为任意的n*1向量。
  上述三个定理可以通过直接验证广义逆矩阵的定义式得证。

Moore-Penrose逆矩阵

  由前面定义的逆矩阵求解超定问题（非一致方程）的最小二乘解和欠定问题（一致方程）的最小范数解时，解是不唯一的。因此将广义逆矩阵做进一步的约束，便得到Moore-Penrose逆矩阵（平时说的伪逆就是它），它能保证解的唯一性。

  定义满足下列性质的矩阵 G 为矩阵 A 的Moore-Penrose逆矩阵，记做 A+ ：

1. AGA=A
2. GAG=G
3. (AG)H=AG
4. (GA)H=GA

  Moore-Penrose逆矩阵是由Moore在1935年提出的，由于原始定义十分晦涩，于是Penrose于1955年提出了上述的四个条件，因此名为Moore-Penrose逆矩阵。

Moore-Penrose逆矩阵又根据满足上述条件的个数，分为以下几种：
①只满足条件1,2，称为自反广义逆矩阵
②只满足条件1,2,3，称为正则化广义逆矩阵
③只满足条件1,2,4，称为弱广义逆矩阵

注意，对于只满足某些条件的逆矩阵，它的秩总是大于等于原矩阵的秩。即：

rank(Ag)≥rank(A)=rank(AAg)=rank(AgA)，当Ag为自反逆矩阵时取等。

我们前面提到的 左伪逆矩阵和 右伪逆矩阵都是Moore-Penrose矩阵，满足四个条件。

Moore-Penrose逆矩阵的计算

1.方程求解法：

2.KL分解法：

  即通过矩阵的满秩分解求解，求解方式同上述的广义逆矩阵，只不过将转置运算换成共轭转置，容易验证，该法求解得到的结果满足上述四个条件。

PS:当使用Moore-Penrose逆矩阵求解超定问题（非一致方程）的最小二乘解时，不仅解唯一，且是最小二乘最小范数解