定义:对矩阵 A A A,若存在矩阵 B B B使得 A B = B A = I AB=BA=I AB=BA=I,则 B B B唯一,称之为矩阵的逆,记为 A − 1 A^{-1} A−1。
矩阵的逆具有如下基本性质:
(i) A − 1 A^{-1} A−1存在当且仅当 ∣ A ∣ ≠ 0 |A|\neq0 ∣A∣=0。
证明:若 A − 1 A^{-1} A−1存在,对 A A − 1 = E AA^{-1}=E AA−1=E两边取行列式,得 ∣ A ∣ ∣ A − 1 ∣ = ∣ E ∣ = 1 |A||A^{-1}|=|E|=1 ∣A∣∣A−1∣=∣E∣=1,因而 ∣ A ∣ ≠ 0 |A|\neq0 ∣A∣=0。
当 ∣ A ∣ ≠ 0 |A|\neq0 ∣A∣=0时,由行列式按一行展开的公式知 A A ∗ = A ∗ A = ∣ A ∣ E AA^*=A^*A=|A|E AA∗=A∗A=∣A∣E,可写 A ( 1 ∣ A ∣ A ∗ ) = ( 1 ∣ A ∣ A ∗ ) A = E A(\frac{1}{|A|}A^*)=(\frac{1}{|A|}A^*)A=E A(∣A∣1A∗)=(∣A∣1A∗)A=E
即得 A − 1 = A ∗ ∣ A ∣ A^{-1}=\frac{A^*}{|A|} A−1=∣A∣A∗。% A − 1 A^{-1} A−1存在。
(ii) ( A ′ ) − 1 = ( A − 1 ) ′ (A')^{-1}=(A^{-1})' (A′)−1=(A−1)′。
证明:由 A A − 1 = A − 1 A = E AA^{-1}=A^{-1}A=E AA−1=A−1A=E两边取转置: ( A − 1 ) ′ A ′ = A ′ ( A − 1 ) ′ = E ′ = E (A^{-1})'A'=A'(A^{-1})'=E'=E (A−1)′A′=A′(A−1)′=E′=E于是 ( A ′ ) − 1 = ( A − 1 ) ′ (A')^{-1}=(A^{-1})' (A′)−1=(A−1)′。
(iii) ( c A ) − 1 = c − 1 A − 1 (cA)^{-1}=c^{-1}A^{-1} (cA)−1=c−1A−1,其中 c c c为非零实数。
(iv) ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} (AB)−1=B−1A−1,如果 A − 1 A^{-1} A−1和 B − 1 B^{-1} B−1都存在。
证明:由 ( A B ) ( B − 1 A − 1 ) = ( B − 1 A − 1 ) ( A B ) = E (AB)(B^{-1}A^{-1})=(B^{-1}A^{-1})(AB)=E (AB)(B−1A−1)=(B−1A−1)(AB)=E即得。
(v) d i a g ( a 1 , . . . , a n ) − 1 = d i a g ( a 1 − 1 , . . . , a n − 1 ) diag(a_1,...,a_n)^{-1}=diag(a_1^{-1},...,a_n^{-1}) diag(a1,...,an)−1=diag(a1−1,...,an−1)
更一般地,如果 A A A是分块对角阵, A = d i a g ( A 1 , . . . , A k ) A=diag(A_1,...,A_k) A=diag(A1,...,Ak),其中 A j , 1 ≤ j ≤ k A_j,1\leq j\leq k Aj,1≤j≤k非奇异,即 ∣ A j ∣ ≠ 0 , 1 ≤ j ≤ k |A_j|\neq0,1\leq j\leq k ∣Aj∣=0,1≤j≤k,则 A − 1 = d i a g ( A 1 − 1 , . . . , A k − 1 ) A^{-1}=diag(A_1^{-1},...,A_k^{-1}) A−1=diag(A1−1,...,Ak−1)。
(vi) 对于任意的 n × n n\times n n×n阶非奇异阵 A A A, n × q n\times q n×q阶矩阵 U U U, q × n q\times n q×n阶矩阵 V V V,有
( A + U V ) − 1 = A − 1 − A − 1 U ( I q + V A − 1 U ) − 1 V A − 1 (A+UV)^{-1}=A^{-1}-A^{-1}U(I_q+VA^{-1}U)^{-1}VA^{-1} (A+UV)−1=A−1−A−1U(Iq+VA−1U)−1VA−1
该公式的一个简单应用为:
记 1 n 1_n 1n为 n n n维全1向量, J n = 1 n 1 n ′ J_n=1_n1_n' Jn=1n1n′,实数 a a a、 b b b满足 a ≠ 0 a\neq0 a=0及 a + n b ≠ 0 a+nb\neq0 a+nb=0,则有:
( a I n + b J n ) − 1 = 1 a ( I n − b a + n b J n ) (aI_n+bJ_n)^{-1}=\frac{1}{a}(I_n-\frac{b}{a+nb}J_n) (aIn+bJn)−1=a1(In−a+nbbJn)同时有 ∣ a I n + b J n ∣ = a n − 1 ( a + n b ) |aI_n+bJ_n|=a^{n-1}(a+nb) ∣aIn+bJn∣=an−1(a+nb)。
证明:下面证明更一般的Woodbury公式: ( A − U C − 1 V ) − 1 = A − 1 + A − 1 U ( C − V A − 1 U ) − 1 V A − 1 (A-UC^{-1}V)^{-1}=A^{-1}+A^{-1}U(C-VA^{-1}U)^{-1}VA^{-1} (A−UC−1V)−1=A−1+A−1U(C−VA−1U)−1VA−1
其中 C C C可逆。
考虑矩阵 [ A U V C ] \left[\begin{matrix} A&U\\ V&C \end{matrix}\right] [AVUC],由于 A A A可逆,
消除第(2,1)项(行变换):
[ I 0 − V A − 1 I ] [ A U V C ] = [ A U 0 C − V A − 1 U ] \left[\begin{matrix} I&0\\ -VA^{-1}&I \end{matrix}\right]\left[\begin{matrix} A&U\\ V&C \end{matrix}\right]=\left[\begin{matrix} A&U\\ 0&C-VA^{-1}U \end{matrix}\right] [I−VA−10I][AVUC]=[A0UC−VA−1U]
消除第(1,2)项(列变换):
[ A U V C ] [ I − A − 1 U 0 I ] = [ A 0 V C − V A − 1 U ] \left[\begin{matrix} A&U\\ V&C \end{matrix}\right]\left[\begin{matrix} I&-A^{-1}U\\ 0&I \end{matrix}\right]=\left[\begin{matrix} A&0\\ V&C-VA^{-1}U \end{matrix}\right] [AVUC][I0−A−1UI]=[AV0C−VA−1U]
于是有:
[ I 0 − V A − 1 I ] [ A U V C ] [ I − A − 1 U 0 I ] = [ A 0 0 C − V A − 1 U ] \left[\begin{matrix} I&0\\ -VA^{-1}&I \end{matrix}\right]\left[\begin{matrix} A&U\\ V&C \end{matrix}\right]\left[\begin{matrix} I&-A^{-1}U\\ 0&I \end{matrix}\right]=\left[\begin{matrix} A&0\\ 0&C-VA^{-1}U \end{matrix}\right] [I−VA−10I][AVUC][I0−A−1UI]=[A00C−VA−1U]
进而:
[ A U V C ] = [ I 0 V A − 1 I ] [ A 0 0 C − V A − 1 U ] [ I A − 1 U 0 I ] \left[\begin{matrix} A&U\\ V&C \end{matrix}\right]=\left[\begin{matrix} I&0\\ VA^{-1}&I \end{matrix}\right]\left[\begin{matrix} A&0\\ 0&C-VA^{-1}U \end{matrix}\right]\left[\begin{matrix} I&A^{-1}U\\ 0&I \end{matrix}\right] [AVUC]=[IVA−10I][A00C−VA−1U][I0A−1UI]
两边同时取逆:
[ A U V C ] − 1 = [ I A − 1 U 0 I ] − 1 [ A 0 0 C − V A − 1 U ] − 1 [ I 0 V A − 1 I ] − 1 = [ I − A − 1 U 0 I ] [ A − 1 0 0 ( C − V A − 1 U ) − 1 ] [ I 0 − V A − 1 I ] = [ A − 1 + A − 1 U ( C − V A − 1 U ) − 1 V A − 1 − A − 1 U ( C − V A − 1 U ) − 1 − ( C − V A − 1 U ) − 1 V A − 1 ( C − V A − 1 U ) − 1 ] \begin{aligned} \left[\begin{matrix} A&U\\ V&C \end{matrix}\right]^{-1}&=\left[\begin{matrix} I&A^{-1}U\\ 0&I \end{matrix}\right]^{-1}\left[\begin{matrix} A&0\\ 0&C-VA^{-1}U \end{matrix}\right]^{-1}\left[\begin{matrix} I&0\\ VA^{-1}&I \end{matrix}\right]^{-1}\\ &=\left[\begin{matrix} I&-A^{-1}U\\ 0&I \end{matrix}\right]\left[\begin{matrix} A^{-1}&0\\ 0&(C-VA^{-1}U)^{-1} \end{matrix}\right]\left[\begin{matrix} I&0\\ -VA^{-1}&I \end{matrix}\right]\\ &=\left[\begin{matrix} A^{-1}+A^{-1}U(C-VA^{-1}U)^{-1}VA^{-1}&-A^{-1}U(C-VA^{-1}U)^{-1}\\ -(C-VA^{-1}U)^{-1}VA^{-1}&(C-VA^{-1}U)^{-1} \end{matrix} \right] \end{aligned} [AVUC]−1=[I0A−1UI]−1[A00C−VA−1U]−1[IVA−10I]−1=[I0−A−1UI][A−100(C−VA−1U)−1][I−VA−10I]=[A−1+A−1U(C−VA−1U)−1VA−1−(C−VA−1U)−1VA−1−A−1U(C−VA−1U)−1(C−VA−1U)−1]
同样的,由于 C C C可逆,有:
[ A U V C ] = [ I − U C − 1 0 I ] [ A − U C − 1 V 0 0 C ] [ I 0 − C − 1 V I ] \left[\begin{matrix} A&U\\ V&C \end{matrix}\right]=\left[\begin{matrix} I&-UC^{-1}\\ 0&I \end{matrix}\right]\left[\begin{matrix} A-UC^{-1}V&0\\ 0&C \end{matrix}\right]\left[\begin{matrix} I&0\\ -C^{-1}V&I \end{matrix}\right] [AVUC]=[I0−UC−1I][A−UC−1V00C][I−C−1V0I]
两边同时取逆:
[ A U V C ] − 1 = [ I 0 C − 1 V I ] − 1 [ A − U C − 1 V 0 0 C ] − 1 [ I U C − 1 0 I ] − 1 = [ I 0 − C − 1 V I ] [ ( A − U C − 1 V ) − 1 0 0 C − 1 ] [ I − U C − 1 0 I ] = [ ( A − U C − 1 V ) − 1 − ( A − U C − 1 V ) − 1 U C − 1 − C − 1 V ( A − U C − 1 V ) − 1 C − 1 V ( A − U C − 1 V ) − 1 U C − 1 + C − 1 ] \begin{aligned} \left[\begin{matrix} A&U\\ V&C \end{matrix}\right]^{-1}&=\left[\begin{matrix} I&0\\ C^{-1}V&I \end{matrix}\right]^{-1}\left[\begin{matrix} A-UC^{-1}V&0\\ 0&C \end{matrix}\right]^{-1}\left[\begin{matrix} I&UC^{-1}\\ 0&I \end{matrix}\right]^{-1}\\ &=\left[\begin{matrix} I&0\\ -C^{-1}V&I \end{matrix}\right]\left[\begin{matrix} (A-UC^{-1}V)^{-1}&0\\ 0&C^{-1} \end{matrix}\right]\left[\begin{matrix} I&-UC^{-1}\\ 0&I \end{matrix}\right]\\ &=\left[\begin{matrix} (A-UC^{-1}V)^{-1}&-(A-UC^{-1}V)^{-1}UC^{-1}\\ -C^{-1}V(A-UC^{-1}V)^{-1}&C^{-1}V(A-UC^{-1}V)^{-1}UC^{-1}+C^{-1} \end{matrix} \right] \end{aligned} [AVUC]−1=[IC−1V0I]−1[A−UC−1V00C]−1[I0UC−1I]−1=[I−C−1V0I][(A−UC−1V)−100C−1][I0−UC−1I]=[(A−UC−1V)−1−C−1V(A−UC−1V)−1−(A−UC−1V)−1UC−1C−1V(A−UC−1V)−1UC−1+C−1]
对比第(1,1)项有:
( A − U C − 1 V ) − 1 = A − 1 + A − 1 U ( C − V A − 1 U ) − 1 V A − 1 (A-UC^{-1}V)^{-1}=A^{-1}+A^{-1}U(C-VA^{-1}U)^{-1}VA^{-1} (A−UC−1V)−1=A−1+A−1U(C−VA−1U)−1VA−1
证毕。
( a I n + b J n ) − 1 = 1 a ( I n + b a J n ) − 1 (aI_n+bJ_n)^{-1}=\frac{1}{a}(I_n+\frac{b}{a}J_n)^{-1} (aIn+bJn)−1=a1(In+abJn)−1,取 U = b a 1 n U=\frac{b}{a}1_n U=ab1n, V = 1 n ′ V=1_n' V=1n′即得。
∣ a I n + b J n ∣ = ∣ a + b b . . . b b a + b . . . b . . . . . . . . . . . . b b . . . a + b ∣ = ( a + n b ) ∣ 1 b . . . b 1 a + b . . . b . . . . . . . . . . . . 1 b . . . a + b ∣ = ( a + n b ) ∣ 1 b . . . b 0 a . . . b . . . . . . . . . . . . 0 0 . . . a ∣ = a n − 1 ( a + n b ) \begin{aligned} |aI_n+bJ_n|&=\left|\begin{matrix} a+b&b&...&b\\ b&a+b&...&b\\ ...&...&...&...\\ b&b&...&a+b \end{matrix} \right|\\&=(a+nb)\left|\begin{matrix} 1&b&...&b\\ 1&a+b&...&b\\ ...&...&...&...\\ 1&b&...&a+b \end{matrix} \right|\\&=(a+nb)\left|\begin{matrix} 1&b&...&b\\ 0&a&...&b\\ ...&...&...&...\\ 0&0&...&a \end{matrix} \right|=a^{n-1}(a+nb) \end{aligned} ∣aIn+bJn∣=∣∣∣∣∣∣∣∣a+bb...bba+b...b............bb...a+b∣∣∣∣∣∣∣∣=(a+nb)∣∣∣∣∣∣∣∣11...1ba+b...b............bb...a+b∣∣∣∣∣∣∣∣=(a+nb)∣∣∣∣∣∣∣∣10...0ba...0............bb...a∣∣∣∣∣∣∣∣=an−1(a+nb)
令 A A A是任意 m × n m\times n m×n矩阵,称矩阵 A † A^\dagger A†是 A A A的广义逆矩阵,若 A † A^\dagger A†满足一下四个条件(常称为Moore-Penrose条件):
(i) A A † A = A AA^\dagger A=A AA†A=A;
(ii) A † A A † = A † A^\dagger AA^\dagger=A^\dagger A†AA†=A†;
(iii) A A † AA^\dagger AA†为Hermitian矩阵,即 A A † = ( A A † ) H AA^\dagger=(AA^\dagger)^H AA†=(AA†)H;
(iv) A † A A^\dagger A A†A为Hermitian矩阵,即 A † A = ( A † A ) H A^\dagger A=(A^\dagger A)^H A†A=(A†A)H.
根据满足Moore-Penrose条件的多少,可以对广义逆矩阵进行分类:
(1)满足全部四个条件的矩阵 A † A^\dagger A†称为 A A A的Moore-Penrose逆矩阵;
(2)只满足条件(i)和(ii)的矩阵称为 A A A的自反广义逆矩阵;
(3)满足条件(i)(ii)(iii)的矩阵称为 A A A的正规化广义逆矩阵;
(4)满足条件(i)(ii)(iv)的矩阵称为 A A A的弱广义逆矩阵。
任意 m × n m\times n m×n矩阵 A A A,其Moore-Penrose逆矩阵存在且唯一。
证明:
(存在性)
若 A A A为零矩阵,显然零矩阵就是 A A A的广义逆。
若 A ≠ 0 A\neq 0 A=0,则 A A A有奇异值分解,即存在正交矩阵 U U U和 V V V使得
A = U d i a g { σ 1 , . . , σ r , 0 , . . . , 0 } V H A=Udiag\{\sigma_1,..,\sigma_r,0,...,0\}V^H A=Udiag{σ1,..,σr,0,...,0}VH
令 A † = V d i a g { σ 1 − 1 , . . , σ r − 1 , 0 , . . . , 0 } U H A^\dagger=Vdiag\{\sigma_1^{-1},..,\sigma_r^{-1},0,...,0\}U^H A†=Vdiag{σ1−1,..,σr−1,0,...,0}UH,可以验证 A † A^\dagger A†就是 A A A的广义逆。
(唯一性)
设 B B B是 A A A的另一个广义逆,即满足Moore-Penrose四个条件。
A † = A † A A † = A † ( A A † ) H = A † ( A † ) H A H = A † ( A † ) H ( A B A ) H = A † ( A † ) H A H B H A H = A † ( A A † ) H ( A B ) H = A † A A † A B = A † A B = A † A ( B A B ) = A † A A H B H B = A H ( A † ) H A H B H B = ( A A † A ) H B H B = A H B H B = ( B A ) H B = B A B = B \begin{aligned} A^\dagger&=A^\dagger AA^\dagger=A^\dagger (AA^\dagger)^H=A^\dagger (A^\dagger)^HA^H=A^\dagger (A^\dagger)^H(ABA)^H=A^\dagger (A^\dagger)^HA^HB^HA^H \\&=A^\dagger (AA^\dagger)^H(AB)^H=A^\dagger AA^\dagger AB=A^\dagger AB=A^\dagger A(BAB)=A^\dagger AA^HB^HB \\&=A^H(A^\dagger)^HA^HB^HB=(AA^\dagger A)^HB^HB=A^HB^HB=(BA)^HB=BAB=B \end{aligned} A†=A†AA†=A†(AA†)H=A†(A†)HAH=A†(A†)H(ABA)H=A†(A†)HAHBHAH=A†(AA†)H(AB)H=A†AA†AB=A†AB=A†A(BAB)=A†AAHBHB=AH(A†)HAHBHB=(AA†A)HBHB=AHBHB=(BA)HB=BAB=B
其他类型的广义逆矩阵均不是唯一的,关于其唯一性条件可参考:曹东, 杨成. 广义逆矩阵的唯一性[J]. 中南民族大学学报(自然科学版), 1998(1):78-80.