矩阵论笔记（十）——广义逆矩阵

当 A 满秩时，方程 Ax=b 的解为 x=A−1b 。但当 A 不满秩，甚至方程 Ax=b 无解时，我们也希望用某种逆 A† 的形式表示方程的（近似）解 x=A†b 。这便是广义逆的作用。

0 投影变换与投影矩阵

投影矩阵的求法：

（1） M→M ： P{L,M}[X|Y]=[X|O]⇒PL,M=[X|O][X|Y]−1 ；
（2） L⊥→L ： PL=[X|O][X|Y]−1
=[X|O][[X|Y]H[X|Y]]−1[X|Y]H
=[X|O]⎡⎣⎢⎢⎢(XHX)−1OO(YHY)−1⎤⎦⎥⎥⎥⎡⎣⎢⎢⎢XHYH⎤⎦⎥⎥⎥
=X(XHX)−1XH .

1 存在、性质、构造

若 A∈Cm×n ，则 A 的任意一种伪逆尺寸为 X∈Cn×m 。

定义

Moore-Penrose 逆 A+ 的四个等价定义：

（1）定义一：Penrose 方程 (i) AXA=A ；(ii) XAX=X ；(iii) (AX)H=AX ；(iv) (XA)H=XA ；
（2）定义二： AX=PR(A), XA=PR(X) ，其中 PL 是子空间 L 上的正交投影矩阵；
（3）定义三： AXA=A, X=AHU, X=VAH ，其中 U, V 是适当阶的复矩阵；
（4）定义四： AXA=A, X=AHZAH ，其中 Z 是与 A 同阶的复矩阵。

满足部分 Penrose 条件的广义逆及其构造：

（1） A{i,j,⋯,l} ：满足 Penrose 方程中的 (i),(j),(k),(l) 方程称为 {i,j,⋯,l} -逆，记为 A(i,j,⋯,l) ，全体记为 A{i,j,⋯,l} ；
（2） A{1,2} ：设 Y,Z∈A{1} ，令 X=YAZ ，则 X∈A{1,2} ，也称为自反广义逆；
（3） A{1,2,3} ： Y=(AHA)(1)AH∈A{1,2,3} ；
（4） A{1,2,4} ： Z=AH(AAH)(1)∈A{1,2,4} ；
（5） A{1,2,3,4} ： A†=A(1,4)AA(1,3) ；
（6） λ† ：当 λ≠0 时， λ†=λ−1 ，否则为 0。

定理

（1）定理一：对任意 A∈Cm×n ， A+ 存在且唯一；
（2）定理二： A(1) 唯一的充要条件是 A 为非奇异矩阵；
（3）定理三：若 X∈A{1} ，则 X∈A{1,2} 的充要条件是 rankX=rankA ；
（4）定理四：对任意 A ，有 rank(AHA)=rankA=rank(AAH) ；
（5）推论一：若 A∈Cm×nn （列满秩），则 A†=(AHA)−1AH ；若 A∈Cm×nm （行满秩），则 A†=AH(AAH)−1 ；
（6）推论二：若 α≠0 ，则 α†=(αHα)−1αH 。

性质

{1} -逆的八条性质：

（1） (A(1))H∈AH{1} ；
（2） λ†A(1)∈(λA){1} ；
（3）若 S,T 非奇异，则 T−1A(1)S−1∈(SAT){1} ；
（4） rankA(1)≥rankA ；
（5） AA(1) 和 A(1)A 均为幂等矩阵且与 A 同秩；
（6） R(AA(1))=R(A), N(A(1)A)=N(A), R((A(1))H)=R(AH) ；
（7） A(1)A=In 的充要条件是 rankA=n ， AA(1)=Im 的充要条件是 rankA=m ；
（8） AB(AB)(1)A=A 的充要条件是 rank(AB)=rankA ， B(AB)(1)AB=B 的充要条件是 rank(AB)=rankB 。

Moore Penrose 逆 A† 的六条性质：

（1） rankA†=rankA ；
（2） (A†)†=A ；
（3） (AH)†=(A†)H ， (AT)†=(A†)T ；
（4） (AHA)†=A†(AH)† ， (AAH)+=(AH)†A† ；
（5） A†=(AHA)†AH=AH(AAH)† ；
（6） R(A†)=R(AH) ， N(A†)=N(AH) 。

证明

（1）证明定理一：[存在性]奇异值分解，并令 X=V⎡⎣⎢⎢⎢Σ−1OOO⎤⎦⎥⎥⎥UH ；[唯一性]用共轭转置和展开构造 AXA 以消除 X ，证 X=XAX=YAY=Y ；
（2）证明定理二：把 x∈N(A) 加到 X 的任意一列上，或把 x∈N(AH) 的共轭转置加到 X 的任意一行上， AXA 不变，因此，假如唯一则有 N(A)={0}, N(AH)={0} ；
（3）证明定理三： R(XA)⊂R(X) ， rank(XA)=rankA=rankX ，因此 R(XA)=R(X) ，则存在 Y 使 XAY=X ，于是 XAX=XA(XAY)=XAY=X ；
（4）证明定理四：由 Ax=0 有 AHAx=0 ，由 AHAx=0 有 xHAHAx=0 ，于是 Ax=0 ，即 N(A)=N(AHA) ；
（5）证明 A† 性质（6）： R(A†)=R(A†AA†)=R(AH(A†)AHA†)⊂R(AH) ， N(A†)=N(A†AA†)=N(A†(A†)HAH)⊃N(AH) 。

构造

由 {1} -逆可以很容易构造出其他的广义逆。

（1） Y,Z∈A{1} ，则 X=YAZ∈A{1,2} ；
（2） Y=(AHA)(1)AH∈A{1,2,3} ；
（3） Z=AH(AAH)(1)∈A{1,2,4} ；
（4） A†=A(1,4)AA(1,3) 。

2 计算

{1} -逆

步骤：

（1）初等行变换： [A|I]→r[B|Q] ，其中 B 为 Hermite 标准形，则 QA=B ；
（2）置换矩阵：构造 P=[ej1,⋯,ejn] ，使 QAP=⎡⎣⎢⎢IrOKO⎤⎦⎥⎥ ；
（3）计算 A{1} ： X=P⎡⎣⎢⎢IrOOL⎤⎦⎥⎥Q ，其中 L∈C(n−r)×(m−r) 为任意矩阵。

{1,2} -逆

（1）方法一：求 {1} -逆 X=P⎡⎣⎢⎢IrOOL⎤⎦⎥⎥Q 后，令 L=0 即得 A(2) ；
（2）方法二：设 Y,Z∈A{1} ，则 X=YAZ∈A{1,2} ；
（3）方法三：满秩分解，然后 G(i)F(1)∈A{i}, G(1)F(i)∈A{i} 。

{1,3} -逆

用公式 Y=(AHA)(1)AH∈A{1,2,3} 。

{1,4} -逆

用公式 Z=AH(AAH)(1)∈A{1,2,4} 。

Moore-Penrose 逆

（1）方法一：满秩分解 A=FG ，则 A†=G†F†=GH(GGH)−1(FHF)−1FH ；
（2）方法二：奇异值分解 A=UDVH=U1ΣVH1 ，则 A†=V1Σ−1UH1 ；
（3）方法三：用公式 A†=A(1,4)AA(1,3) 。

满秩分解与广义逆的关系

（1） G(i)F(1)∈A{i} (i=1,2,4) ；
（2） G(1)F(i)∈A{i} (i=1,2,3) ；
（3） G(1)F†∈A{1,2,3}, G†F(1)∈A{1,2,4} ；
（4） A†=G†F(1,3)=G1,4F† ；
（5） A†=G†F†=GH(GGH)−1(FHF)−1FH=GH(FHAGH)−1FH 。

3 广义逆矩阵与线性方程组的求解

方程组 Ax=b 的解

先要判断相容性（即是否有解）：① 用充要条件 AA(1)b=b 或者 ② 用 rankA=rank(A|b) 。

（1）相容-通解： x=A(1)b+(I−A(1)A)y ；
（2）相容-极小范数解： x=A(1,4)b （唯一）；
（3）矛盾-最小二乘解： x=A(1,3)b ；
（4）矛盾-极小范数最小二乘解： x=A†b （唯一）；
（5）矩阵方程-极小范数最小二乘解： AXB=D 的极小范数最小二乘解为 X=A†DB† 。

相容时，（1）和（3）的解一致，（2）和（4）的解一致。

所以求解方程组的步骤为：① 判断相容性；② 求解相应的广义矩阵逆通式；③ x=A(i,⋯,l)b 。

广义逆通式

（1） A{1}={A(1)+Z−A(1)AZAA(1) | Z∈Cn×m} ；
（2） A{1,4}={A(1,4)+Z(I−AA(1,4)) | Z∈Cn×m} ；
（3） A{1,3}={A(1,3)+(I−A(1,3)A)Z | Z∈Cn×m} 。

以上均可由下面的定理一推得。

定理

（1）定理一： AXB=D 相容的充要条件是 AA(1)DB(1)B=D ，通解为 X=A(1)DB(1)+Y−A(1)AYBB(1) ；
（2）定理二： Ax=b 相容的充要条件是 AA(1)b=b ，通解为 x=A(1)b+(I−A(1)A)y ；
（3）定理三：若对所有 b∈R(A) ， x=Xb 都是其解，则 X∈A{1} ；
（4）定理四：若对所有 b∈R(A) ， x=Xb 都是极小范数解，则 X∈A{1,4} ；
（5）定理五：若对所有 b∈Cm ， x=Xb 都是最小二乘解，则 X∈A{1,3} ；
（6）定理六：若对所有 b∈Cm ， x=Xb 都是极小范数最小二乘解，则 X=A† ；
（7）推论： x 是 Ax=b 的最小二乘解的充要条件是 x 为 AHAx=AHb （法方程组/正规方程组）的解。

通解，往往是“特解 + 齐次方程组通解”的形式。

引理

（1）引理一：相容方程组的极小范数解唯一，且在 R(AH) 中；
（2）引理二：集合 A{1,4} 由 XA=A(1,4)A 的所有解 X 组成（ XA 是个不变量）；
（2）引理二：集合 A{1,3} 由 AX=AA(1,3) 的所有解 X 组成（ AX 是个不变量）；

证明

（1）证明定理一： D=AXB=AA(1)AXBB(1)B=AA(1)DB(1)B ，反之 X=A(1)DB(1) 显然是解；
（2）证明定理三：令 b=ai∈R(A) ，则 x=Xai 是 Ax=b 的解，得 AXai=ai ，即 AXA=A ；
（3）证明定理五：需证 ① ∥Ax−b∥2=∥Ax−PR(A)b∥2+∥PR(A)b−b∥2 ；② 极小值的条件是 Ax=PR(A)b ；③ AA(1,3)=PR(A)b ；
（4）证明定理六：由证明（3）得，最小二乘解是 Ax=PR(A)b=AA(1,3)b 的（一般）解，则极小范数解为 x=A(1,4)AA(1,3)b=A†b ；
（5）证明推论：由 ① b=PR(A)b+(I−PR(A))b=PR(A)b+PN(AH)b ，② 最小二乘解为 Ax=PR(A)b 的解，可得， Ax−b=−PN(AH)b∈N(AH) ，所以 AH(Ax−b)=0 ；
（6）证明 PR(A)=AA(1,3) ： R(AA(1,3))=R(A) , N(AA(1,3)=N((AA(1,3))H)=N((A(1,3))HAH)=N(AH)=Rperp(A) ，因此 AA(1,3)=PR(A) 。

理解

（1）最小二乘解，就是要让 b 在 A 上的投影被抵消掉，只剩下残余，亦即求 Ax=PR(A)b 的一般解（ b−Ax⊥{Ax|x∈Rn}⇒(Ax)T(b−Ax)=0⇒ATAx=ATb ）；
（2）投影矩阵，有时间再研究一下。

主要题型

（1）计算广义逆 A(1),A(1,2),A(1,3),A(1,4),A† ；
（2）计算方程组的通解、极小范数解、最小二乘解、极小范数最小二乘解；
（3）利用 A† 的运算规律进行计算或证明；
（4）幂等矩阵与特征值相关计算或证明；
（5）借助奇异值分解、满秩分解、QR 分解相关计算或证明。