矩阵的广义逆
矩阵的广义逆
Penrose 方程
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n，Penrose给出了四个条件：
A G A = A G A G = A ( A G ) T = A G ( G A ) T = G A AGA=A\\ GAG=A\\ (AG)^T=AG\\ (GA)^T=GA AGA=AGAG=A(AG)T=AG(GA)T=GA
对于一个矩阵 G ∈ R n × m G\in R^{n\times m} G∈Rn×m，若其满足Penrose方程中的任意一个，即可成G为A的广义逆矩阵。
特别的，对于仅满足 A G A = A AGA=A AGA=A的广义逆矩阵称为 A − A^- A−,为A的减号逆。
对于满足 A G A = A ， ( A G ) T = A G AGA=A，(AG)^T=AG AGA=A，(AG)T=AG的广义逆矩阵称为 A l − A^-_l Al−，为A的最小二乘逆。
对于满足 A G A = A ， ( G A ) T = G A AGA=A，(GA)^T=GA AGA=A，(GA)T=GA的广义逆矩阵记为 A m − A^-_m Am−，为A的最小范数逆。
满足所有方程的广义逆矩阵为 A + A^+ A+，为加号逆或者Moore-Penrose广义逆。
广义逆矩阵 A − A^- A−
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n，如果存在非奇异矩阵P和Q使得
P A Q = ( I r 0 0 0 ) PAQ=\begin{pmatrix}I_r&0\\0&0 \end{pmatrix} PAQ=(Ir000)
则G是广义逆矩阵 A − A^- A−的充分必要条件是：
G = Q ( I r K L M ) P G=Q\begin{pmatrix}I_r&K\\L&M\end{pmatrix}P G=Q(IrLKM)P
K , L , M K,L,M K,L,M为任意矩阵，此外，还有：
r a n k ( A ) ≤ r a n k ( A − ) r a n k ( A A − ) = r a n k ( A − A ) = r a n k ( A ) Q − 1 A − P − 1 ∈ B { 1 } rank(A) ≤ rank(A^-)\\ rank(AA^−) = rank(A^−A) = rank(A)\\ Q^{−1}A^−P^{−1}\in B\{1\} rank(A)≤rank(A−)rank(AA−)=rank(A−A)=rank(A)Q−1A−P−1∈B{1}
用处：可以用减号逆直接得到相容方程组 A x = b Ax=b Ax=b的解，相容方程组即要求其有解，G是A的减号逆是 x = G b x=Gb x=Gb是相容方程 A x = b Ax=b Ax=b的解的充要条件。
Penrose定理：矩阵方程 A X B = C AXB=C AXB=C有解的充分必要条件是：
A A − C B − B = C AA^-CB^-B=C AA−CB−B=C
在有解的情况下，其通解为：
X = A − C B − + Y − A − A Y B B − X=A^-CB^-+Y-A^-AYBB^- X=A−CB−+Y−A−AYBB−
其中 Y ∈ R n × p Y\in R^{n\times p} Y∈Rn×p是任意的矩阵。
A x = b Ax = b Ax=b有解的充要条件是 A A − b = b AA^-b=b AA−b=b，此时 A x = b Ax = b Ax=b的通解为
x = A − b + ( I − A − A ) y x = A^-b + (I-A^-A)y x=A−b+(I−A−A)y
y ∈ R n y \in R^n y∈Rn是任意的。
极小范数广义逆 A m − A^-_m Am−
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n，A的奇异值分解为：
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(∑000)VT
则G是A 的极小范数广义逆 A m − A^-_m Am−的充要条件为：
G = V ( ∑ − 1 K 0 M ) U T G=V\begin{pmatrix}\sum^{-1}&K\\0&M \end{pmatrix}U^T G=V(∑−10KM)UT
K，M为任意矩阵。
G是A 的极小范数广义逆 A m − A^-_m Am−的充要条件为：
G A A T = A T GAA^T=A^T GAAT=AT
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n， A − A^- A−是A的任一广义逆矩阵， A m − A_m^- Am−是A的任一极小范数广义逆，则：
A { 1 , 4 } = { G ∈ R n × m ∣ G = A m − + Z ( I − A A − ) , Z ∈ R n × m } A\{1,4\}=\{G\in R^{n \times m}|G = A_m^- + Z(I - AA^-),Z \in R^{n\times m}\} A{1,4}={G∈Rn×m∣G=Am−+Z(I−AA−),Z∈Rn×m}
从以上我们已经知道 A x = b Ax = b Ax=b有解的充要条件是 A A − b = b AA^-b=b AA−b=b，此时 A x = b Ax = b Ax=b的通解为
x = A − b + ( I − A − A ) y x = A^-b + (I-A^-A)y x=A−b+(I−A−A)y
y ∈ R n y \in R^n y∈Rn是任意的，接下来在 A x = b Ax = b Ax=b中求解范数最小的解，即求广义逆矩阵G使得：
∥ G b ∥ 2 = min A x = b ∥ x ∥ 2 \|Gb\|_2= \begin{gather} \mathop{\min}_{Ax=b}\|x\|_2 \end{gather} ∥Gb∥2=minAx=b∥x∥2
该式对于 G ∈ A { 1 , 4 } G\in A\{1,4\} G∈A{1,4}的 x = G b x=Gb x=Gb为 A x = b Ax =b Ax=b的极小范数解，且该解唯一。
最小二乘广义逆 A l − A^-_l Al−
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n，A的奇异值分解为：
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(∑000)VT
则G是A 的最小二乘广义逆 A l − A^-_l Al−的充要条件为：
G = V ( ∑ − 1 0 L M ) U T G=V\begin{pmatrix}\sum^{-1}&0\\L&M \end{pmatrix}U^T G=V(∑−1L0M)UT
G是A 的最小二乘广义逆 A l − A^-_l Al−的充要条件为：
A T A G = A T A^TAG=A^T ATAG=AT
如果线性方程组 A x = b Ax = b Ax=b不相容，则其没有通常意义下的解，存在残差 b − A x b-Ax b−Ax不等于0。可以求这样的解来使残差最小：
min ∥ A x − b ∥ 2 \min\|Ax-b\|_2 min∥Ax−b∥2
满足上式的x为不相容方程组 A x = b Ax = b Ax=b的最小二乘解。
G ∈ A { 1 , 3 } G\in A\{1,3\} G∈A{1,3}的 x = G b x=Gb x=Gb为 A x = b Ax =b Ax=b的最小二乘解，且该解必为相容线性方程组：
A T A x = A T b A^TAx = A^Tb ATAx=ATb
的解，反之亦然。
Moore-Penrose广义逆矩阵 A + A^+ A+
对于矩阵 A ∈ R m × n A\in R^{m\times n} A∈Rm×n， A + A^+ A+存在且唯一，A的奇异值分解为：
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(∑000)VT
则G是A 的最小二乘广义逆 A l − A^-_l Al−的充要条件为：
G = V ( ∑ − 1 0 0 0 ) U T G=V\begin{pmatrix}\sum^{-1}&0\\0&0 \end{pmatrix}U^T G=V(∑−1000)UT
其满足：
这样计算的优点在于，对于相容方程组 A x = b Ax = b Ax=b，它的通解：
x = A + b + ( I − A + A ) y x = A^+b + (I-A^+A)y x=A+b+(I−A+A)y
对于不相容方程组 A x = b Ax = b Ax=b，它的最小二乘解：
x = A + b + ( I − A + A ) y x = A^+b + (I-A^+A)y x=A+b+(I−A+A)y
二者相同，对于不相容方程组，当y=0时，其是极小最小二乘解，即：
∥ x 0 ∥ ≤ ∥ x ∥ 2 \|x_0\|\le\|x\|_2 ∥x0∥≤∥x∥2