矩阵的广义逆

矩阵的广义逆

Penrose 方程

对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n,Penrose给出了四个条件:
A G A = A G A G = A ( A G ) T = A G ( G A ) T = G A AGA=A\\ GAG=A\\ (AG)^T=AG\\ (GA)^T=GA AGA=AGAG=A(AG)T=AG(GA)T=GA
对于一个矩阵 G ∈ R n × m G\in R^{n\times m} GRn×m,若其满足Penrose方程中的任意一个,即可成G为A的广义逆矩阵。

特别的,对于仅满足 A G A = A AGA=A AGA=A的广义逆矩阵称为 A − A^- A,为A的减号逆。

对于满足 A G A = A , ( A G ) T = A G AGA=A,(AG)^T=AG AGA=A(AG)T=AG的广义逆矩阵称为 A l − A^-_l Al,为A的最小二乘逆。

对于满足 A G A = A , ( G A ) T = G A AGA=A,(GA)^T=GA AGA=A(GA)T=GA的广义逆矩阵记为 A m − A^-_m Am,为A的最小范数逆。

满足所有方程的广义逆矩阵为 A + A^+ A+,为加号逆或者Moore-Penrose广义逆。

广义逆矩阵 A − A^- A

对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n,如果存在非奇异矩阵P和Q使得
P A Q = ( I r 0 0 0 ) PAQ=\begin{pmatrix}I_r&0\\0&0 \end{pmatrix} PAQ=(Ir000)
则G是广义逆矩阵 A − A^- A的充分必要条件是:
G = Q ( I r K L M ) P G=Q\begin{pmatrix}I_r&K\\L&M\end{pmatrix}P G=Q(IrLKM)P
K , L , M K,L,M K,L,M为任意矩阵,此外,还有:
r a n k ( A ) ≤ r a n k ( A − ) r a n k ( A A − ) = r a n k ( A − A ) = r a n k ( A ) Q − 1 A − P − 1 ∈ B { 1 } rank(A) ≤ rank(A^-)\\ rank(AA^−) = rank(A^−A) = rank(A)\\ Q^{−1}A^−P^{−1}\in B\{1\} rank(A)rank(A)rank(AA)=rank(AA)=rank(A)Q1AP1B{1}
用处:可以用减号逆直接得到相容方程组 A x = b Ax=b Ax=b的解,相容方程组即要求其有解,G是A的减号逆是 x = G b x=Gb x=Gb是相容方程 A x = b Ax=b Ax=b的解的充要条件。

Penrose定理:矩阵方程 A X B = C AXB=C AXB=C有解的充分必要条件是:
A A − C B − B = C AA^-CB^-B=C AACBB=C
在有解的情况下,其通解为:
X = A − C B − + Y − A − A Y B B − X=A^-CB^-+Y-A^-AYBB^- X=ACB+YAAYBB
其中 Y ∈ R n × p Y\in R^{n\times p} YRn×p是任意的矩阵。

A x = b Ax = b Ax=b有解的充要条件是 A A − b = b AA^-b=b AAb=b,此时 A x = b Ax = b Ax=b的通解为
x = A − b + ( I − A − A ) y x = A^-b + (I-A^-A)y x=Ab+(IAA)y
y ∈ R n y \in R^n yRn是任意的。

极小范数广义逆 A m − A^-_m Am

对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n,A的奇异值分解为:
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(000)VT
则G是A 的极小范数广义逆 A m − A^-_m Am的充要条件为:
G = V ( ∑ − 1 K 0 M ) U T G=V\begin{pmatrix}\sum^{-1}&K\\0&M \end{pmatrix}U^T G=V(10KM)UT
K,M为任意矩阵。

G是A 的极小范数广义逆 A m − A^-_m Am的充要条件为:
G A A T = A T GAA^T=A^T GAAT=AT
对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n A − A^- A是A的任一广义逆矩阵, A m − A_m^- Am是A的任一极小范数广义逆,则:
A { 1 , 4 } = { G ∈ R n × m ∣ G = A m − + Z ( I − A A − ) , Z ∈ R n × m } A\{1,4\}=\{G\in R^{n \times m}|G = A_m^- + Z(I - AA^-),Z \in R^{n\times m}\} A{1,4}={GRn×mG=Am+Z(IAA),ZRn×m}
从以上我们已经知道 A x = b Ax = b Ax=b有解的充要条件是 A A − b = b AA^-b=b AAb=b,此时 A x = b Ax = b Ax=b的通解为
x = A − b + ( I − A − A ) y x = A^-b + (I-A^-A)y x=Ab+(IAA)y
y ∈ R n y \in R^n yRn是任意的,接下来在 A x = b Ax = b Ax=b中求解范数最小的解,即求广义逆矩阵G使得:
∥ G b ∥ 2 = min ⁡ A x = b ∥ x ∥ 2 \|Gb\|_2= \begin{gather} \mathop{\min}_{Ax=b}\|x\|_2 \end{gather} Gb2=minAx=bx2
该式对于 G ∈ A { 1 , 4 } G\in A\{1,4\} GA{1,4} x = G b x=Gb x=Gb A x = b Ax =b Ax=b的极小范数解,且该解唯一。

最小二乘广义逆 A l − A^-_l Al

对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n,A的奇异值分解为:
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(000)VT
则G是A 的最小二乘广义逆 A l − A^-_l Al的充要条件为:
G = V ( ∑ − 1 0 L M ) U T G=V\begin{pmatrix}\sum^{-1}&0\\L&M \end{pmatrix}U^T G=V(1L0M)UT
G是A 的最小二乘广义逆 A l − A^-_l Al的充要条件为:
A T A G = A T A^TAG=A^T ATAG=AT
如果线性方程组 A x = b Ax = b Ax=b不相容,则其没有通常意义下的解,存在残差 b − A x b-Ax bAx不等于0。可以求这样的解来使残差最小:
min ⁡ ∥ A x − b ∥ 2 \min\|Ax-b\|_2 minAxb2
满足上式的x为不相容方程组 A x = b Ax = b Ax=b的最小二乘解。

G ∈ A { 1 , 3 } G\in A\{1,3\} GA{1,3} x = G b x=Gb x=Gb A x = b Ax =b Ax=b的最小二乘解,且该解必为相容线性方程组:
A T A x = A T b A^TAx = A^Tb ATAx=ATb
的解,反之亦然。

Moore-Penrose广义逆矩阵 A + A^+ A+

对于矩阵 A ∈ R m × n A\in R^{m\times n} ARm×n A + A^+ A+存在且唯一,A的奇异值分解为:
A = U ( ∑ 0 0 0 ) V T A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T A=U(000)VT
则G是A 的最小二乘广义逆 A l − A^-_l Al的充要条件为:
G = V ( ∑ − 1 0 0 0 ) U T G=V\begin{pmatrix}\sum^{-1}&0\\0&0 \end{pmatrix}U^T G=V(1000)UT
其满足:

矩阵的广义逆_第1张图片
矩阵的广义逆_第2张图片

这样计算的优点在于,对于相容方程组 A x = b Ax = b Ax=b,它的通解:

x = A + b + ( I − A + A ) y x = A^+b + (I-A^+A)y x=A+b+(IA+A)y
对于不相容方程组 A x = b Ax = b Ax=b,它的最小二乘解:
x = A + b + ( I − A + A ) y x = A^+b + (I-A^+A)y x=A+b+(IA+A)y
二者相同,对于不相容方程组,当y=0时,其是极小最小二乘解,即:
∥ x 0 ∥ ≤ ∥ x ∥ 2 \|x_0\|\le\|x\|_2 x0x2

你可能感兴趣的:(机器人学,矩阵,线性代数,算法)