矩阵论（一）：广义逆矩阵（上）

矩阵论专栏：专栏（文章按照顺序排序）

本文以线性代数知识为基础。关于线代知识，如一些基本的秩（不）等式、零矩阵的判定条件等，可参考下面几篇博客。
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似

广义逆矩阵的部分主要包括以下内容：

• 左逆与右逆
  • 定义
  • 左逆、右逆存在的条件
• {1}逆
  • 从$Ax=y$的求解引入{1}逆
  • {1}逆的通式
  • 用{1}逆讨论$Ax=y$以及$AXB=D$的求解
• PM逆
  • 定义
  • PM逆的性质（存在性、唯一性、秩、计算性质、列空间、零空间）
  • 用PM逆讨论$Ax=y$以及$AXB=D$的解的存在唯一性
  • PM逆的计算方法
• {1,4}逆
  • 从极小范数解问题引入{1,4}逆
  • $A\{1,4\}=\{M|MA{A}^H=A^H\}=\{M|MA=A^{+}A\}$
  • 利用{1,4}逆解决极小范数解的存在唯一性
• {1,3}逆
  • 从最小二乘问题引入{1,3}逆
  • $A\{1,3\}=\{M|A^{H}AM=A^H\}=\{M|AM=A{A}^{+}\}$
  • 利用{1,4}逆解决最小二乘问题以及最小二乘解与正规方程组的联系
• 极小范数最小二乘解问题
• 总结
  • 线性回归问题介绍

因为内容比较多，目录中的内容分为上、下两篇博客来写。其中，上（本篇）介绍左逆右逆、{1}逆以及PM逆，下篇介绍{1,4}逆、{1,3}逆及其之后的内容。定理1-20在本文中，定理21-31在下篇博客中。
下篇博客链接：链接

【符号说明】
文中所用向量范数均指Frobenius范数/$l_2$范数。
$F$表示数域，$F^{m\times n}$是指元素在数域$F$内的$m\times n$矩阵的集合，$F_r^{m\times n}$是指$F^{m\times n}$中所有秩为$r$的矩阵。$Q$、$R$和$C$分别表示有理数域、实数域和复数域，本文所讨论的数域仅限于这三种数域。单位矩阵用$I$表示，$n$阶单位矩阵用$I_n$表示。
$A^H$是指$A$的共轭转置。注意$\forall A\in F^{m\times n}$，有$A^H\in F^{n\times m}$，这是因为域$F$（$F=Q或R或C$）中的数取共轭后肯定还在$F$中，例如实数的共轭是其自身。
我们用$i$表示虚数单位，用$Re\{\}$表示复数的实部，$Im\{\}$表示复数的虚部。
对矩阵$A$，$R(A)$和$N(A)$分别表示$A$的列空间和零空间。

---

左逆矩阵与右逆矩阵

我们知道，只有方阵才有逆矩阵，且可逆方阵对方阵是有限制条件的，只有行列式不为零的方阵才可逆。可逆方阵给我们解线性方程组带来了很大的方便：设$Ax=y$是关于x的方程，若系数矩阵A是可逆方阵，则有唯一解$x=A^{-1}y$，解的形式非常简单。然而对于一般的$m\times n$系数矩阵A，有没有简洁的办法来求解这样的线性方程组呢？按照一般解方程的思路，如果有一个矩阵L，当我们用L左乘$Ax=y$的两端时（将得到$LAx=Ly$），能够恰好抵消掉A（也就是说$LAx=x$），得到$x=Ly$，那么就“似乎”找到了解（为什么是似乎呢？这个后面再说）。什么时候$LAx=x$成立呢？考虑一种最简单的情形：$LA=I$，这就引出了左逆矩阵的概念：

• 定义：设$A\in F^{m\times n}$，若存在$L\in F^{n\times m}$，满足$LA=I_n$，则称$L$是$A$的一个左逆矩阵

自然先看一下左逆矩阵存在的条件是什么：

• 定理1：设$A\in F^{m\times n}$，则$A$的左逆矩阵存在的充要条件为$A$列满秩
  证明：
  必要性：若存在$L\in F^{n\times m}$，满足$LA=I_n$，根据秩不等式有$n=r(I_n)=r(LA)⩽r(A)$，又$r(A)⩽n$，故$r(A)=n$，即$A$是列满秩的。
  充分性：若$A$是列满秩的，根据秩等式$r(A^{H}A)=r(A)=n$知，$A^{H}A$是满秩方阵，即$A^{H}A$可逆。设$L=(A^{H}A{)}^{-1}{A}^H$，验证$LA=(A^{H}A{)}^{-1}{A}^{H}A=I$，即$L$是$A$的一个左逆矩阵，因此A的左逆矩阵存在。
  【注】$(A^{H}A{)}^{-1}{A}^H$称为列满秩矩阵$A$的左伪逆矩阵

这说明并非所有矩阵都有左逆矩阵，只有列满秩矩阵才可左逆。类比左逆矩阵，我们有右逆矩阵的概念：

• 定义：设$A\in F^{m\times n}$，若存在$R\in F^{n\times m}$，满足$AR=I_m$，则称$R$是$A$的一个右逆矩阵
• 定理2：设$A\in F^{m\times n}$，则$A$的右逆矩阵存在的充要条件为$A$行满秩

右逆矩阵的分析跟左逆矩阵是类似的。$A^H(A{A}^H{)}^{-1}$称为行满秩矩阵$A$的右伪逆矩阵。

现在回到线性方程组的解的问题上来。虽然列满秩矩阵$A$必有左逆$L$，但是这意味着$Ax=y$的解就是$x=Ly$吗？实际上，$x=Ly$是$Ax=y$的解还应该满足一个条件：将$x=Ly$代入$Ax=y$，等式依然成立，也就是说应有$ALy=y$。不幸的是，左逆矩阵并不能满足这个条件，请看如下反例：
设$A=\left[\begin{array}{cc}1& 1\\ 0& 1\\ 0& 0\end{array}\right]$，则可计算出A的左伪逆$L=\left[\begin{array}{ccc}1& -1& 0\\ 0& 1& 0\end{array}\right]$，$AL=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$，对于$y=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$，$ALy=0\ne y$。
这说明左逆、右逆并不能用来表示一般线性方程组的解，虽然刚开始它们看上去是可行的。

将左（右）逆矩阵的定义和逆矩阵的定义进行对比可以发现，前者的限制不如后者的限制严格，因此它们是一类伪逆。

---

{1}逆

我们讨论了左逆、右逆的概念及其存在的条件，它们并不是求解线性方程组的有力工具。现在我们从一般的线性方程组出发，探究什么样的矩阵（或者说什么样的伪逆）可以用来表达线性方程组的解。
对于一般的线性方程组$Ax=y$，如果它有解，按照奥卡姆剃刀原理，我们假定它一定有$x=By$这种形式的解。现在我们来探究一下这样的矩阵$B$是什么：

• 定理3：设$A\in F^{m\times n}$，$B\in F^{n\times m}$，则如下两命题等价：
  （1）$\forall y\in F^m$，若关于$x$的线性方程组$Ax=y$有解，则$x=By$是它的一个解
  （2）$ABA=A$
  证明：
  （1）$\Rightarrow$（2）：任取$z\in F^m$，令$y=Az$，线性方程组$Ax=y$必有解（显然$z$就是它的一个解）。根据命题（1），$x=By=BAz$也是它的一个解。把这个解代入原方程，得到$ABAz=Az$。注意，任取$z\in F^m$，我们都得到了$ABAz=Az$，也就是$(ABA-A)z=0$。那么就能判定$ABA-A=O$，即$ABA=A$。
  （1）$\Leftarrow$（2）：$\forall y\in F^m$，若线性方程组$Ax=y$有解，设$x_0$是它的一个解，则有$y=A{x}_0$。若$ABA=A$，则$ABy=ABA{x}_0=A{x}_0=y$，所以$x=By$也是它的一个解。于是命题（1）成立。

上述定理说明，我们期望找到的矩阵$B$其实就是满足$ABA=A$的矩阵$B$，我们把满足该条件的矩阵B称为A的一个广义逆矩阵，更确切地，B称为A的一个{1}逆（还有其他类型的广义逆矩阵，见后文）：

• 定义：设$A\in F^{m\times n}$，若存在$B\in F^{n\times m}$，满足$ABA=A$，则称$B$是$A$的一个{1}逆，记作$B=A^{(1)}$。通常，将A的全体{1}逆的集合写作$A\{1\}$。

定理3只是告诉我们$B$应该满足什么条件，没告诉我们$B$是否存在。下面的定理对此作出了肯定的回答：

• 定理4：设$A\in F_r^{m\times n}$。若$r=0$，则$A\{1\}=F^{n\times m}$；若$r>0$，根据秩标准形定理知存在可逆矩阵$P$、$Q$使得$PAQ=\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$，此时我们断言
  $$A\{1\}=\left\{Q\left[\begin{array}{cc}{I}_r& L_{12}\\ L_{21}& L_{22}\end{array}\right]P|L_{12}\in F^{r\times (m-r)},L_{21}\in F^{(n-r)\times r},L_{22}\in F^{(n-r)\times (m-r)}\right\}$$
  证明：只证$r>0$的情况。由于$A=P^{-1}\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]Q^{-1}$，任取$X=Q\left[\begin{array}{cc}{I}_r& L_{12}\\ L_{21}& L_{22}\end{array}\right]P$，计算可得$AXA=A$，故$X\in A\{1\}$。任取$A^{(1)}\in A\{1\}$，设$Q^{-1}{A}^{(1)}{P}^{-1}=\left[\begin{array}{cc}{L}_{11}& L_{12}\\ L_{21}& L_{22}\end{array}\right]$，则$A^{(1)}=Q\left[\begin{array}{cc}{L}_{11}& L_{12}\\ L_{21}& L_{22}\end{array}\right]P$，由$A{A}^{(1)}A=A$可得$\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]\left[\begin{array}{cc}{L}_{11}& L_{12}\\ L_{21}& L_{22}\end{array}\right]\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]=\left[\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right]$，进一步计算有$L_{11}=I_r$，即$A^{(1)}=Q\left[\begin{array}{cc}{I}_r& L_{12}\\ L_{21}& L_{22}\end{array}\right]P$。得证。

上述定理不仅证明了任意矩阵都有{1}逆，还给出了{1}逆的求法。对A进行初等变换化为等价标准形（秩标准形），求出变换对应的可逆矩阵P、Q，就可以得到$A\{1\}$。

• 推论：设$A\in F_r^{m\times n}$，则A的{1}逆唯一的充要条件为$r=m=n$
  证：
  定理4告诉我们$A$的{1}逆都具有$Q\left[\begin{array}{cc}{I}_r& L_{12}\\ L_{21}& L_{22}\end{array}\right]P$这种形式，其中$P$、$Q$可逆。要使$A$的{1}逆唯一，必须使自由变量$L_{12}、L_{21}、L_{22}$消失，显然只有$r=m=n$才能做到这一点。
  【注】当A的{1}逆唯一时，A的{1}逆为$QP$。根据式$PAQ=I$可得$A^{-1}=(P^{-1}{Q}^{-1}{)}^{-1}=QP$，因此A的{1}逆就是$A^{-1}$。

回到求解线性方程组的问题上来。我们已经知道任取A的一个{1}逆$A^{(1)}$， 若$Ax=y$有解，则$x=A^{(1)}y$一定是它的一个解（定理3）。那什么条件下$Ax=y$才有解？它的通解又是什么？（这里“通解”是指要能够表达出$Ax=y$的所有解）
如果我们将$x=A^{(1)}y$代入原方程，就得到$A{A}^{(1)}y=y$，这是在原方程有解的条件下得到的结论。然而，如果$A{A}^{(1)}y=y$，这不就说明$x=A^{(1)}y$是原方程的一个解吗？这就得到了线性方程组有解的充要条件。

• 定理5：线性方程组$Ax=y$有解的充要条件是存在A的一个{1}逆$A^{(1)}$使得$A{A}^{(1)}y=y$
  证明：
  必要性：若$Ax=y$有解，则$y=Ax=A{A}^{(1)}Ax=A{A}^{(1)}y$。
  充分性：若$A{A}^{(1)}y=y$，则$x=A^{(1)}y$是原方程的一个解，故原方程有解。
• 定理6：线性方程组$Ax=y$有解的充要条件是任意A的一个{1}逆$A^{(1)}$都有$A{A}^{(1)}y=y$
  证明：同上。

关于$Ax=y$的通解，有以下结论。（这里“通解”是指要能够表达出$Ax=y$的所有解）

• 定理7：若$Ax=y$有解，则任取A的一个{1}逆$A^{(1)}$，$x=A^{(1)}y+(I-A^{(1)}A)z,z\in F^n$都是$Ax=y$的通解
  证明：
  将$x=A^{(1)}y+(I-A^{(1)}A)z,z\in F^n$代入原方程，可得$Ax=A{A}^{(1)}y+A(I-A^{(1)}A)z=y+(A-A{A}^{(1)}A)z=y$，可见$x=A^{(1)}y+(I-A^{(1)}A)z,z\in F^n$都是原方程的解。
  任取原方程的一个解$x_0$，有$A{x}_0=y$成立。令$z=x_0$，则$$\begin{array}{rl}x& =A^{(1)}y+(I-A^{(1)}A)z\\ & =A^{(1)}y+(I-A^{(1)}A)x_0\\ & =x_0+A^{(1)}y-A^{(1)}y\\ & =x_0\end{array}$$可见$x=A^{(1)}y+(I-A^{(1)}A)z,z\in F^n$还包含了原方程的所有解。得证。

上述定理说明，A的任意一个{1}逆都能完整表达出$Ax=y$的所有解，这意味着{1}逆是解线性方程组的一个完备的工具。通解的形式$x=A^{(1)}y+(I-A^{(1)}A)z,z\in F^n$不光可以用来求出方程组的解（只要按照定理4的方法求出一个$A$的一个$\{1\}$逆即可），还说明了$Ax=y$的解的结构是什么样子的。通解中的第一项$A^{(1)}y$，是$Ax=y$的一个特解。第二项$(I-A^{(1)}A)z$，$z\in F^n$，实际上是齐次线性方程组$Ax=0$的通解（对$Ax=0$应用一下定理7即知）。这就回到了我们学习线性代数时熟悉的结论：非齐次方程的通解=非齐次方程的特解+对应齐次方程的通解。此外，根据列空间和零空间的定义，这也说明了$R(I-A^{(1)}A)=N(A)$成立。

原本到这里问题就已经结束了，但其实还有个疑问，细心的朋友可能已经发现，既然A的任意一个（而不仅仅是某一个）{1}逆都能表达出$Ax=y$的所有解，那么这里必然蕴含着某些等量关系在里面。例如，如果我们取$A$的两个不同的{1}逆$A_1$和$A_2$，并且取一$z_0\in F^n$，那么我们知道$x_0=A_{1}y+(I-A_{1}A)z_0$是$Ax=y$的一个解（如果这个方程组有解的话），而且我们可以断定$A_2$也能表达出这个解，即一定存在某个$z_1\in F^n$使得$x_0=A_{2}y+(I-A_{2}A)z_1$。这就有$A_{1}y+(I-A_{1}A)z_0=A_{2}y+(I-A_{2}A)z_1$成立了。如果我们取的$z_0$恰好是零向量，那么就有$A_{1}y=A_{2}y+(I-A_{2}A)z_1$。如果我们把$A_1$换成别的{1}逆，那么我们也能得到类似这样的关系。
我们发现，给定$A$的一个{1}逆$G$，集合$S=\{A^{(1)}y|A^{(1)}\in A\{1\}\}$中的任一向量都可以被$G$表达出来，即存在$z\in F^n$使$A^{(1)}y=Gy+(I-GA)z$成立，而$S$中的向量不是别的，就是$Ax=y$的解。如果可以被$G$表达出来的向量都在$S$里面呢？那不就意味着$S$就是$Ax=y$的解集，$x=A^{(1)}y,A^{(1)}\in A\{1\}$是$Ax=y$的通解吗？
当$y=0$时，$S=\{0\}$，此时只有当A列满秩（即$Ax=0$只有零解时），$S$才包含$Ax=y$的所有解。那么当$y\ne 0$时呢？在解决这个问题之前，我们先将{1}逆这个工具运用到更一般的矩阵方程上。

• 定理8：关于$X_{m\times n}$的矩阵方程$AXB=D$有解的充要条件为，存在（或任意）A的一个{1}逆$A^{(1)}$和B的一个{1}逆$B^{(1)}$满足$D=A{A}^{(1)}D{B}^{(1)}B$；任意给定A的一个{1}逆$A^{(1)}$和B的一个{1}逆$B^{(1)}$，若$AXB=D$有解，则其通解为$X=A^{(1)}D{B}^{(1)}+Y-A^{(1)}AYB{B}^{(1)},Y\in F^{m\times n}$
  证明：
  若$AXB=D$有解，则$$D=AXB=A{A}^{(1)}AXB{B}^{(1)}B=A{A}^{(1)}D{B}^{(1)}B$$若$D=A{A}^{(1)}D{B}^{(1)}B$，则$X=A^{(1)}D{B}^{(1)}$是原方程的一个解。
  将$X=A^{(1)}D{B}^{(1)}+Y-A^{(1)}AYB{B}^{(1)}$代入原方程得$$\begin{array}{rl}AXB& =A{A}^{(1)}D{B}^{(1)}B+AYB-A{A}^{(1)}AYB{B}^{(1)}B\\ & =D+AYB-AYB\\ & =D\end{array}$$故$X=A^{(1)}D{B}^{(1)}+Y-A^{(1)}AYB{B}^{(1)}$都是原方程的解。
  任取原方程的一个解$X_0$，则$A{X}_{0}B=D$，令$Y=X_0$，则$$\begin{array}{rl}X& =A^{(1)}D{B}^{(1)}+Y-A^{(1)}AYB{B}^{(1)}\\ & =A^{(1)}D{B}^{(1)}+X_0-A^{(1)}A{X}_{0}B{B}^{(1)}\\ & =X_0+A^{(1)}D{B}^{\{1\}}-A^{(1)}D{B}^{(1)}\\ & =X_0\end{array}$$故$X=A^{(1)}D{B}^{(1)}+Y-A^{(1)}AYB{B}^{(1)}$还包含了原方程的所有解。得证。

现在，我们考虑关于M的矩阵方程$AMA=A$，解该方程，得到如下结论：

• 定理9：给定$A_{m\times n}$的一个{1}逆$G$，则式$M=G+Y-GAYAG,Y\in F^{m\times n}$给出了A的全部{1}逆
  证明：解方程$AMA=A$，可得通解$$M=GAG+Z-GAZAG,Z\in F^{m\times n}$$作变量代换$Y=Z-G$，得$$\begin{array}{rl}M& =GAG+Y+G-GAYAG-GAGAG\\ & =G+Y+GAG-GAG-GAYAG\\ & =G+Y-GAYAG,Y\in F^{m\times n}\end{array}$$得证。

这说明A的所有{1}逆都可以用A的某个给定的{1}逆表达出来。现在回到问题：集合$\{My|M\in A\{1\}\}$是否包含了$Ax=y$的所有解？有了上面的结论的铺垫，我们现在可以解决这个问题：

• 定理10：若$Ax=y,y\ne 0$有解，则其通解是$x=My,M\in A\{1\}$
  证明：
  设G是A的一个{1}逆，则由$Ax=y$有解知$AGy=y$，且原方程的通解是$x=Gy+(I-GA)z$。设M是A的任意一个{1}逆，则存在矩阵Y，使得$M=G+Y-GAYAG$。问题转化为，对任意$z\in F^n$，能否找到Y，使得$$\begin{array}{rl}Gy+(I-GA)z& =My\\ & =Gy+Yy-GAYAGy\\ & =Gy+(I-GA)Yy\end{array}$$成立。即是否存在Y使得$(I-GA)(Yy-z)=0$。显然，只要找到Y满足$Yy=z$即可。因为$y\ne 0$，故容易验证$y^{(1)}=(y^{H}y{)}^{-1}{y}^H$是y的一个{1}逆，且满足$y^{(1)}y=1$。因为$z{y}^{(1)}y=z$，故关于Y的矩阵方程$Yy=z$有解，且$Y=z{y}^{(1)}$就是它的一个解。综上，找到了Y，即找到了M使得$My=Gy+(I-GA)z$，得证。

实际上，证明可以大大简化：设$x_0$是$Ax=y,y\ne 0$的一个解，G是A的一个{1}逆，则有$$\begin{array}{rl}{x}_0& =Gy+(I-GA)x_0\\ & =Gy+(I-GA)x_0{y}^{(1)}y\\ & =(G+(I-GA)x_0{y}^{(1)})y\end{array}$$其中，$y^{(1)}=(y^{H}y{)}^{-1}{y}^H$。根据{1}逆的定义可以验证$G+(I-GA)x_0{y}^{(1)}$是A的一个{1}逆，这就说明$Ax=y$的解都具备$x=My,M\in A\{1\}$这种形式。而将$x=My,M\in A\{1\}$代入$Ax=y$发现等式依然成立。故定理得证。

在机器学习中，线性回归模型是最基础也最简单的模型之一，在对实际数据进行拟合时，往往是不可能做到完全拟合的。故对于一般的线性回归问题，我们往往考虑其最小二乘解（或者完全等价地，最小化线性回归的代价函数，即均方误差函数）。而且我们通常不希望解的范数太大，故还需考虑其极小范数解（注意，解的范数可以直接约束解向量的每个分量的取值范围，例如从Frobenius范数的角度考虑，$\forall x\in C^n,|x_i|⩽||x|{|}_2$）。有了定理10的结论，我们在寻找这些特殊解时，就可以把目标定在寻找特殊的{1}逆上。那么都有哪些特殊的{1}逆呢？当然要先揪出{1}逆中的“老大”——PM逆，这样我们后面的问题就好解决了。

---

Penrose-Moore广义逆

Penrose于1955年提出了Penrose-Moore条件，满足这些条件中的任何一个的矩阵G都可以称为A的一个广义逆矩阵，它们分别是：

1. AGA=A
2. GAG=G
3. AG是共轭对称的
4. GA是共轭对称的

{1}逆是满足条件1的广义逆矩阵，这也是{1}逆的记法的来源。如果某一类广义逆满足上述的某些条件，那么就把这一类广义逆称作“$\{满足的条件的标号\}$逆”。例如满足条件1、2的叫做{1,2}逆，满足条件1、3、4的叫做{1,3,4}逆等等。共有$2^4-1=15$类广义逆矩阵，其中得到重要应用的有{1,2}逆（自反广义逆矩阵）、{1,2,3}逆（正规化广义逆矩阵）、{1,2,4}逆（弱广义逆矩阵）、{1,2,3,4}逆（Penrose-Moore广义逆）等，当然还有后文会用到的{1,3}逆和{1,4}逆。

定义：设$A\in F^{m\times n}$，$G\in F^{n\times m}$，若G满足如下四个条件，则称G是A的Penrose-Moore广义逆矩阵，简称PM逆，记为$G=A^{+}$：

1. $AGA=A$
2. $GAG=G$
3. $(AG{)}^H=AG$
4. $(GA{)}^H=GA$

PM逆不仅在数学规划中有着重要的应用，还在概率统计、数值分析、系统控制、博弈论、信号处理和网络理论等领域有着广泛的应用。这是因为PM逆具有着非常优良的数学性质，使得其在各个领域的理论分析中占有着重要的地位。现在，我们就来看看PM逆都有哪些优良的性质。

PM逆的存在性与唯一性：

• 定理11：任意$A\in F_r^{m\times n}$，$A$的PM逆是存在且唯一的
  证明：
  存在性：当$r=0$时，易验证$O_{n\times m}$是A的一个PM逆。
  当$r>0$时，存在A的满秩分解$A=KL$，其中$K\in F^{m\times r}$是列满秩矩阵，$L\in F^{r\times n}$是行满秩矩阵。由于$r(K^{H}K)=r(K)=r$以及$r(L{L}^H)=r(L)=r$，故$K^{H}K$和$L{L}^H$是满秩方阵。故$K^{H}KL{L}^H$是可逆方阵。设$G=L^H(K^{H}KL{L}^H{)}^{-1}{K}^H$，现在证明G是A的一个PM逆：
  $$\begin{array}{rl}AGA& =KL{L}^H(K^{H}KL{L}^H{)}^{-1}{K}^{H}KL\\ & =K(L{L}^H)(L{L}^H{)}^{-1}(K^{H}K{)}^{-1}(K^{H}K)L\\ & =KL\\ & =A\end{array}$$$$\begin{array}{rl}GAG& =L^H(K^{H}KL{L}^H{)}^{-1}{K}^{H}KL{L}^H(K^{H}KL{L}^H{)}^{-1}{K}^H\\ & =L^H(L{L}^H{)}^{-1}(K^{H}K{)}^{-1}(K^{H}K)(L{L}^H)(L{L}^H{)}^{-1}(K^{H}K{)}^{-1}{K}^H\\ & =L^H(K^{H}KL{L}^H{)}^{-1}{K}^H\\ & =G\end{array}$$$$\begin{array}{rl}GA& =L^H(K^{H}KL{L}^H{)}^{-1}{K}^{H}KL\\ & =L^H(L{L}^H{)}^{-1}(K^{H}K{)}^{-1}(K^{H}K)L\\ & =L^H(L{L}^H{)}^{-1}L\end{array}$$$$(GA{)}^H=L^H((L{L}^H{)}^{-1}{)}^{H}L=L^H(L{L}^H{)}^{-1}L=GA$$$$\begin{array}{rl}AG& =KL{L}^H(K^{H}KL{L}^H{)}^{-1}{K}^H\\ & =K(L{L}^H)(L{L}^H{)}^{-1}(K^{H}K{)}^{-1}{K}^H\\ & =K(K^{H}K{)}^{-1}{K}^H\end{array}$$$$(AG{)}^H=K((K^{H}K{)}^{-1}{)}^H{K}^H=K(K^{H}K{)}^{-1}{K}^H=AG$$这就证明了A的PM逆的存在性。
  唯一性：设$X,Y$分别是A的一个PM逆，则$$\begin{gathered} X=XAX=(XA{)}^{H}X=A^H{X}^{H}X=(AYA{)}^H{X}^{H}X \\ =A^H{Y}^H{A}^H{X}^{H}X=(YA{)}^H(XA{)}^{H}X=YAXAX \\ =YAX=Y(AX{)}^H=Y{X}^H{A}^H \\ =Y{X}^H(AYA{)}^H=Y{X}^H{A}^H{Y}^H{A}^H \\ =Y(AX{)}^H(AY{)}^H=YAXAY=YAY=Y \end{gathered}$$这就证明了PM逆的唯一性。得证。
  【注】唯一性的证明可以说比较“辣眼睛”，但证明过程实际上是灵活地运用Penrose的四个条件，证明$X=Y$的关键步骤是先得到$X=YAX$，再证明$YAX=Y$。建议读者自己推导，便于理解。

该定理不仅证明了PM逆的存在性和唯一性，还给出了求PM逆的一种求法：满秩分解法。

PM逆的秩的性质：

• 定理12：$r(A)=r(A^{+})=r(A{A}^{+})=r(A^{+}A)=r(A{A}^{+}A)=r(A^{+}A{A}^{+})$
  证明：（不断利用秩不等式$r(AB)⩽\min \{r(A),r(B)\}$）
  因为$$r(A)=r(A{A}^{+}A)⩽r(A{A}^{+})⩽r(A^{+})$$$$r(A^{+})=r(A^{+}A{A}^{+})⩽r(A^{+}A)⩽r(A)$$$$r(A{A}^{+})⩽r(A)$$$$r(A^{+}A)⩽r(A^{+})$$所以$$r(A)=r(A^{+})=r(A{A}^{+})=r(A^{+}A)=r(A{A}^{+}A)=r(A^{+}A{A}^{+})$$得证。
  【推论】
  根据列空间的定义，有$R(A{A}^{+})\subseteq R(A)$，而$r(A)=r(A{A}^{+})$告诉我们$\dim R(A)=\dim R(A{A}^{+})$，因此我们有$R(A{A}^{+})=R(A)$。同理分析，根据$r(A^{+})=r(A^{+}A)$可以得到$R(A^{+}A)=R(A^{+})$。

PM逆有以下列出的一些计算性质（用PM的定义容易验证）：

• $(A^{+}{)}^{+}=A$
• $(A^T{)}^{+}=(A^{+}{)}^T$
• $(A^H{)}^{+}=(A^{+}{)}^H$
• $(kA{)}^{+}=\frac{1}{k}{A}^{+},k\in F,k\ne 0$
• 若A是n阶$(n⩾2)$方阵，则$(A^{\ast }{)}^{+}=(A^{+}{)}^{\ast }$，其中$A^{\ast }$是A的伴随矩阵
• 一般$(AB{)}^{+}\ne B^{+}{A}^{+}$，但是$(A^{H}A{)}^{+}=A^{+}(A^H{)}^{+}$且$(A{A}^H{)}^{+}=(A^H{)}^{+}{A}^{+}$
• $(A^{+}A{)}^{+}=A^{+}A$，$(A{A}^{+}{)}^{+}=A{A}^{+}$
• $(I-A^{+}A{)}^{+}=I-A^{+}A$，$(I-A{A}^{+}{)}^{+}=I-A{A}^{+}$
• 若U、V为酋矩阵，则$(UAV{)}^{+}=V^H{A}^{+}{U}^H$

从PM逆的特性上看，PM逆可能是最接近逆矩阵的广义逆了（唯一性、秩的关系、计算性质等）。当方阵A可逆时，容易验证$A^{+}$就是A的逆矩阵。此外，如果对矩阵$A$作一些限定，会发现$A^{+}$有个性质比较接近逆矩阵的定义：
（注意，$A$不一定是方阵）

• 定理13：设$A\in F^{m\times n}$，则$A^{+}A=I_n$的充要条件为$A$列满秩
  证明：（利用定理12的结论）
  必要性：若$A^{+}A=I$，则由$r(A)=r(A^{+}A)=n$知A是列满秩矩阵
  充分性：若A是列满秩矩阵，则由$r(A^{+}A)=r(A)=n$知$A^{+}A$是满秩方阵，用$(A^{+}A{)}^{-1}$左乘$A^{+}A{A}^{+}A=A^{+}A$，即得$A^{+}A=I$
  【注】前面提到过，当A列满秩时，A的左逆矩阵存在，左伪逆$L=(A^{H}A{)}^{-1}{A}^H$是A的一个左逆矩阵。容易验证$L$就是$A$的PM逆。
• 定理14：$A{A}^{+}=I_m$的充要条件为$A_{m\times n}$是行满秩矩阵
  证明：与上同理。
  【注】前面提到过，当A行满秩时，A的右逆矩阵存在，右伪逆$R=A^H(A{A}^H{)}^{-1}$是A的一个右逆矩阵。容易验证$R$就是$A$的PM逆。

PM逆作为一种特殊的{1}逆，当然可以像{1}逆那样表达线性方程组的解的结构：

• 定理15：线性方程$A_{m\times n}x=y$有解的充要条件为$y=A{A}^{+}y$，若它有解，则通解为$x=A^{+}y+(I-A^{+}A)z,z\in F^n$
  证明：
  若$y=A{A}^{+}y$，即存在A的一个$\{1\}$逆使得$y=A{A}^{(1)}y$，则由定理5知原方程有解；若原方程有解，由定理6知对A的任意一个$\{1\}$逆都有$y=A{A}^{(1)}y$成立，自然$y=A{A}^{+}y$也是成立的。通解式由定理7得到。
  【推论】
  对齐次线性方程组$Ax=0$应用定理15，就有$(I-A^{+}A)z,z\in F^n$是$Ax=0$的通解，这意味着$R(I-A^{+}A)=N(A)$。
  对齐次线性方程组$(I-A{A}^{+})x=0$应用定理15，有$A{A}^{+}z,z\in F^m$是$(I-A{A}^{+})x=0$的通解，因此$R(A{A}^{+})=N(I-A{A}^{+})$。
• 定理16：关于$X_{m\times n}$的矩阵方程$AXB=D$有解的充要条件为$D=A{A}^{+}D{B}^{+}B$，若它有解，则通解为$X=A^{+}D{B}^{+}+Y-A^{+}AYB{B}^{+},Y\in F^{m\times n}$

借助PM逆，我们还能解决方程解的唯一性问题：

线性方程组的解的唯一性：

• 定理17：设$A\in F^{m\times n}$，且线性方程组$Ax=y$有解，则解唯一的充要条件为A列满秩
  证明：
  必要性：考虑方程的通解$x=A^{+}y+(I-A^{+}A)z,z\in F^n$，显然若方程的解唯一，则必有$\forall z\in F^n,(I-A^{+}A)z=0$。故由零矩阵的判定条件知$A^{+}A=I$，根据定理13知A列满秩。
  充分性：若A列满秩，则根据定理13有$A^{+}A=I$，故方程的通解$x=A^{+}y+(I-A^{+}A)z=A^{+}y$，可见方程的解是唯一的。
  【注】根据这个结论，当$Ax=y$的解存在且唯一时，A列满秩。结合前面的讨论知道，此时$A^{+}=(A^{H}A{)}^{-1}{A}^H$，因此$Ax=y$的唯一解是$x=A^{+}y=(A^{H}A{)}^{-1}{A}^{H}y$。

矩阵方程的解的唯一性：

• 定理18：设关于$X_{m\times n}$的矩阵方程$AXB=D$有解，则解唯一的充要条件为A列满秩且B行满秩
  证明：
  必要性：考虑通解$X=A^{+}D{B}^{+}+Y-A^{+}AYB{B}^{+},Y\in F^{m\times n}$，若解唯一，则$\forall Y\in F^{m\times n},Y=A^{+}AYB{B}^{+}$。下面分情况讨论：
  若$m⩾n$，则可取到列满秩的$Y$。由$r(Y)=r(A^{+}AYB{B}^{+})⩽r(B)$知，$B$是行满秩的。故$B{B}^{+}=I$，进一步$\forall Y\in F^{m\times n},Y=A^{+}AY$即$(I-A^{+}A)Y=O$。那么$\forall z\in F^m,(I-A^{+}A)z=0$。由零矩阵的判定条件得，$A^{+}A=I$，故$A$列满秩。
  若$m⩽n$，则可取到行满秩的Y，由$r(Y)=r(A^{+}AYB{B}^{+})⩽r(A)$得，A列满秩。故$A^{+}A=I$，进一步$\forall Y\in F^{m\times n},Y=YB{B}^{+}$即$Y(I-B{B}^{+})=O$。则$\forall z\in F^n,z^T(I-B{B}^{+})=0$。由零矩阵的判定条件得，$B{B}^{+}=I$，故$B$行满秩。
  综上，无论何种情况，若方程的解唯一，则$A$列满秩且$B$行满秩。
  充分性：若$A$列满秩且$B$行满秩，则$A^{+}A=I$且$B{B}^{+}=I$。故方程的通解$X=A^{+}D{B}^{+}+Y-A^{+}AYB{B}^{+}=A^{+}D{B}^{+}+Y-Y=A^{+}D{B}^{+}$，可见方程的解是唯一的。得证。
  【注】根据这个结论，当$AXB=D$的解存在且唯一时，有A列满秩且B行满秩。结合前面的讨论知道，此时$A^{+}=(A^{H}A{)}^{-1}{A}^H$，$B^{+}=B^H(B{B}^H{)}^{-1}$，因此$AXB=D$的唯一解是$x=A^{+}D{B}^{+}=(A^{H}A{)}^{-1}{A}^{H}D{B}^H(B{B}^H{)}^{-1}$。

PM逆的列空间与零空间：

• 定理19：$N(A^{+})=N(A^H)$，$R((A^H{)}^{+})=R(A)$
  证明：
  只需证明$A^{+}x=0$和$A^{H}x=0$是同解方程组即可。前者的通解为$x=(I-(A^{+}{)}^{+}{A}^{+})z=(I-A{A}^{+})z$，后者的通解为$x=(I-(A^H{)}^{+}{A}^H)z=(I-(A{A}^{+}{)}^H)z=(I-A{A}^{+})z$，可见它们是同解方程组，所以$N(A^{+})=N(A^H)$。进而$N(A^{+}{)}^{\perp }=N(A^H{)}^{\perp }$，即$R((A^H{)}^{+})=R(A)$。
• 定理20：$N((A^H{)}^{+})=N(A)$，$R(A^{+})=R(A^H)$
  证明：与上同理。

我们把定理12的推论、定理15的推论和定理19、定理20放在一起做个总结就是：$$\begin{gathered} R(A)=R((A^H{)}^{+})=R(A{A}^{+})=N(I-A{A}^{+}) \\ R(A^{+})=R(A^H)=R(A^{+}A)=N(I-A^{+}A) \\ N(A^H)=N(A^{+})=N(A{A}^{+})=R(I-A{A}^{+}) \\ N((A^H{)}^{+})=N(A)=N(A^{+}A)=R(I-A^{+}A) \end{gathered}$$其中，后面两个式子是前面两个式子取正交补的结果。第二个式子还可以看做是第一个式子将$A$代之以$A^{+}$得到的结果。

至此，关于PM逆如何计算的问题，我们只提到了一种方法：满秩分解法。实际上，求解PM逆还有很多行之有效的方法。这里介绍两例：

• 奇异值分解法：设矩阵$A\in C^{m\times n}$，A的奇异值分解为$A=U\Sigma V^H$，其中U、V均为酋矩阵，$\Sigma$是广义对角矩阵。则用PM逆的定义验证可得$A^{+}=V\Sigma {}^{+}{U}^H$。
  【注】由于奇异值分解已有成熟的数值稳定性较好的算法，使用计算机求解PM逆时往往就是用奇异值分解法。（奇异值分解可参考链接）

• Greville递推法
  
  【注】若初始列向量$a_1=0$，图中公式不适用，此时这样计算：$a_1^{+}=a_1^T$