矩阵分析与应用+张贤达

第一章 矩阵与线性方程组（二十三）

1. Moore-Penrose逆矩阵的计算

假定$m\times n$矩阵$A$的秩为$r$，其中，$r\le min(m,n)$。下面介绍求$Moore-Penrose$逆矩阵$A^{+}$的四种方法。

1.1 方程求解法

Penrose在定义广义逆矩阵$A^{+}$时，提出了计算$A^{+}$的两步法如下:
第一步:分别求解矩阵方程
$$A{A}^H{X}^H=A$$
$$A^{H}AY=A^H$$
得到$X^H$和$Y$。
第二步:计算广义逆矩阵$A^{+}=XAY$。
若矩阵$A$为$Hermitian$矩阵，则Penrose的上述方法可以简化，因为以上两个矩阵方程等价为一个矩阵方程
$$A^2{X}^H=A,若A^H=A$$
并且Moore-Penrose逆矩阵可以计算为
$$A^{+}=XA{X}^H,若A^H=A$$
虽然$A$一般不会是Hermitian矩阵，但是$A^{H}A$和$A{A}^H$分别是Hermitian矩阵。

总结以上讨论，可以得到计算Moore-Penrose逆矩阵的两种算法如下

算法1
步骤1 计算矩阵$B=A{A}^H$。
步骤2 求解矩阵方程$B^2{X}^H=B$得到矩阵$X^H$。
步骤3 计算$B$的Moore-Penrose逆矩阵$B^{+}=(A{A}^H{)}^{+}=XB{X}^H$
步骤4 计算矩阵$A$的Moore-Penrose逆矩阵$A^{+}=A^H(A{A}^H{)}^{+}=A^H{B}^{+}$

算法2
步骤1 计算矩阵$B=A^{H}A$。
步骤2 求解矩阵方程$B^2{x}^H=B$得到矩阵$X^H$。
步骤3 计算$B$的Moore-Penrose逆矩阵$B^{+}=(A^{H}A{)}^{+}=XB{X}^H$。
步骤4 计算矩阵$A$的Moor-Penrose逆矩阵$A^{+}=(A^{H}A{)}^{+}{A}^H=B^{+}{A}^H$

若矩阵$A_{m\times n}$的列数大于行数，则矩阵乘积$A{A}^H$的维数比$A^{H}A$的维数小，故选择算法1可花费较少的计算量。反之，若$A$的行数大于列数，则选择算法2。

举例
令矩阵
$$A=\left[\begin{array}{cccccc}1& 0& -1& 2& -1& 1\\ 0& 1& 1& -1& 0& 1\\ 1& 1& 0& 1& -1& 0\end{array}\right]$$
由于其列数大于行数，故选择算法1。
(1)计算$3\times 3$矩阵$A{A}^H$，得
$$A{A}^H=\left[\begin{array}{ccc}8& -2& 3\\ -2& 4& 0\\ 4& 0& 4\end{array}\right],(A{A}^H{)}^2=\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]$$
(2)求解$(A{A}^H{)}^2{X}^H=A{A}^H$，等价求解以下三个方程：
$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}8\\ -2\\ 4\end{array}\right]\Rightarrow \left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\frac{1}{6}\left[\begin{array}{c}2\\ 1\\ -1\end{array}\right]$$
$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}-2\\ 4\\ 0\end{array}\right]\Rightarrow \left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\frac{1}{6}\left[\begin{array}{c}1\\ 2\\ -1\end{array}\right]$$
$$\left[\begin{array}{ccc}84& -24& 48\\ -24& 20& -8\\ 48& -8& 32\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}4\\ 0\\ 4\end{array}\right]\Rightarrow \left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\frac{1}{12}\left[\begin{array}{c}-4\\ -2\\ 7\end{array}\right]$$
故
$$X^H=\frac{1}{12}\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]$$
(3)计算
$$(A{A}^H{)}^{+}=X(A{A}^H)X^H=\frac{1}{12}\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]$$
(4)矩阵A的Moore-Penrose逆矩阵由
$$A^{+}=A^H(A{A}^H{)}^{+}=\frac{1}{12}\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ -1& 1& 0\\ 2& -1& 1\\ -1& 0& -1\\ 1& 1& 0\end{array}\right]\left[\begin{array}{ccc}4& 2& -4\\ 2& 4& -2\\ -4& -2& 7\end{array}\right]=\frac{1}{12}\left[\begin{array}{ccc}0& 0& 3\\ -2& 2& 5\\ -2& 2& 2\\ 2& -2& 1\\ 0& 0& -3\\ 6& 6& -6\end{array}\right]$$
给出。容易验证，$A^{+}$满足Moore-Penrose逆矩阵的四个条件。

1.2 KL 分解法

若$A=KL$是矩阵$A_{m\times n}$的满秩分解，则
$$G=L^H(K^{H}A{L}^H{)}^{-1}{K}^H$$
$G$是$A_{m\times n}$的Moore-Penrose逆矩阵。

1.3 递推法

对矩阵$A_{m\times n}$的前$k$列进行分块$A_k=[A_{k-1},a_k]$，其中，$a_k$是矩阵$A$的第$k$列。于是，分块矩阵$A_k^{+}$的Moore-Penrose逆矩阵$A$可以由$A$递推计算。当递推到$k=n$时，即获得矩阵$A$的Moore-Penrose逆矩阵$A^{+}$。

算法3 (求Moore-Penrose逆矩阵的列递推算法)
初始值$A_1^{+}=a_1^{+}=(a_1^H{a}_1{)}^{-1}{a}_1^H$。
递推
令$k=2,3,...,n$，进行以下计算:

上述列递推算法原则上适用于所有矩阵，但是当矩阵$A$的行比列少的时候，为了减少递推次数，宜先使用列递推算法求出$A^H$的Moore-Penrose逆矩阵$(A^H{)}^{+}=A^{H+}$，再利用KaTeX parse error: Double superscript at position 9: A^+=(A^H^̲+)^H之关系得到$A^{+}$。

举例
$$A=\left[\begin{array}{ccc}1& 0& -1\\ -1& 1& -1\\ 0& -1& 2\\ 1& 1& 1\end{array}\right]$$
的Moore-Penrose逆矩阵。

解
(1)令$A_2=[A_1,a_2]$，其中
$$A_1=a_1=\left[\begin{array}{c}1\\ -1\\ 01\end{array}\right],a_2=\left[\begin{array}{c}0\\ 1\\ -1\\ 1\end{array}\right]$$
则有
$$A_1^{+}=a_1^{+}=(a_1^T{a}_1{)}^{-1}{a}_1^T=\frac{1}{3}[1,-1,0,1]$$
(2)$d_2=A_1^{+}{a}_2=0.$

(3)$b_2=(a_2-A_1{d}_2{)}^{+}=a_2^{+}=\frac{1}{3}0,1,-1,1{]}^T$。

(4)计算
$$A_2^{+}=\left[\begin{array}{c}{A}_1^{+}-d_2{b}_2\\ b_2\end{array}\right]=\frac{1}{3}\left[\begin{array}{cccc}1& -1& 0& 1\\ 0& 1& -1& 1\end{array}\right]$$
(5) $$d_3=A_2^{+}{a}_3=\frac{1}{3}\left[\begin{array}{c}1\\ -2\end{array}\right]$$
(6)$b_3=(a_3-A_2{d}_3{)}^{+}=\frac{1}{4}[-1,0,1,1{]}^T$。
(7)最后，得到$A$的Moore-Penrose逆矩阵为
$$A^{+}=\left[\begin{array}{c}{A}_2^{+}-d_3{b}_3\\ b_3\end{array}\right]=\frac{1}{12}\left[\begin{array}{ccccccc}5& -4& -1& 3& & & \\ -2& 4& -2& 6-3& 0& 3& 3\end{array}\right]$$

1.4 迹方法

已知矩阵$A_{m\times n}$的秩为$r_o$
算法4(求Moore-Penrose逆矩阵的迹方法)
步骤1 计算$B=A{A}^T$。
步骤2 令$C_1=I$。
步骤3 计算
$$C_{i+1}=\frac{1}{i}tr(C_{i}B)I-C_{i}B,i=1,2\dots ,r-1$$
步骤4 计算
$$A^{+}=\frac{r}{tr{C}_{i}B}{C}_i{A}^T$$
注意，$C_{i+1}B=0$，$tr(C_{i}B)\ne 0$。

举例
解 易知$rank(A)=3$。
(1)计算
$$B=A^{T}A\left[\begin{array}{ccc}3& 0& 1\\ 0& 3& -2\\ 1& -1& 7\end{array}\right]$$
(2) 令
$$C_1=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
(3)计算
$$C_2=tr(C_{1}B)I-C_{1}B\left[\begin{array}{ccc}3& 0& 1\\ 0& 3& -2\\ 1& -1& 7\end{array}\right]$$
(4)计算
$$C_3=\frac{1}{2}tr(C_{2}B)I-C_{2}B\left[\begin{array}{ccc}17& -2& -3\\ -3& 20& 6\\ -3& 6& 9\end{array}\right]$$
(5)矩阵$A$的Moore-Penrose逆矩阵
$$A^{+}=\frac{3C_3{A}^T}{tr(C_{3}B)}=\frac{1}{48}\left[\begin{array}{cccc}20& -16& -4& 12\\ -8& 16& -8& 24\\ -12& 0& 12& 12\end{array}\right]=\frac{1}{12}\left[\begin{array}{cccc}5& -4& -1& 3\\ -2& 4-2& 6& \\ -3& 0& 3& 3\end{array}\right]$$