MIT线性代数笔记-第三十三讲

4个子空间

左逆

通常，我们说的逆为两边可逆，即
AA−1=I=A−1A A A − 1 = I = A − 1 A
这种情况下,r = m = n(矩阵A也叫作满秩矩阵)

上面是完美的情况，来看看不完美的情况
列满秩,r = n,列向量独立,零空间为零向量。并且 Ax=b A x = b 有零或者一个解(由于,r = n,而m > n,因此对b有限制).我们来看一个式子:
(ATA)−1ATA=I ( A T A ) − 1 A T A = I ,说明A有 A−1left A l e f t − 1 ,即左逆, Aleft为n∗m,A为m∗n A l e f t 为 n ∗ m , A 为 m ∗ n

需要注意的一点是:这个式子中的 ATA A T A 为最小二乘法中的关键

右逆

与左逆对应的是右逆

行满秩。转置零空间为零向量。 Ax=b A x = b 有无穷解(对b无限制且自由向量有n - m个).可以得到A的右逆公式为：
AAT(AAT)−1=I A A T ( A A T ) − 1 = I

伪逆

我们先看看左逆和右逆的两个公式
左逆: (ATA)−1ATA=I ( A T A ) − 1 A T A = I ,我们将式子变换一下
A(ATA)−1AT A ( A T A ) − 1 A T ,回忆一下，这个为投影到列空间的投影矩阵

右逆: AAT(AAT)−1=I A A T ( A A T ) − 1 = I
AT(AAT)−1A A T ( A A T ) − 1 A ,这个为投影到行空间的投影矩阵

再看看这张图

假设x在行空间中，那么 Ax A x 在列空间，它们的关系是一一对应的
之前我们的视角是从行空间到列空间，那么列空间到行空间呢？这就是伪逆，表示如下:
y=A+(Ay) y = A + ( A y )

如何证明x和Ax为一一对应的?

假设不对应，找出矛盾

伪逆有什么用？
左逆和右逆存在局限性，分别需要列满秩(如果不符合，那么 ATA为奇异矩阵，不可求逆 A T A 为 奇 异 矩 阵 ， 不 可 求 逆 )或者行满秩。而伪逆没有限制

那么问题来了，如何求 A+ A + ?
通过奇异值分解

公式为 A+=V∑+UT(需要注意的是VT=V−1,∑+的纬度为n∗m,而不是m∗n) A + = V ∑ + U T ( 需 要 注 意 的 是 V T = V − 1 , ∑ + 的 纬 度 为 n ∗ m , 而 不 是 m ∗ n )