MIT线性代数笔记-第二十九讲

SVD(singular value decomposition)

我们实际上已经见过对称正定矩阵的奇异值分解:
A=QΛQT A = Q Λ Q T

奇异值分解的公式为: A=U∑VT A = U ∑ V T , U和V U 和 V 为正交矩阵, ∑ ∑ 为对角矩阵

先来看看这张图

我们的目标就是从行空间中找到一组正交的向量，通过A映射到列空间中的正交向量

那么通过矩阵公式如何表达?

这个公式有两点需要注意:
1.我们从行空间中找的为基向量(即正交单位向量,通过这里我们也理解了为什么式子中为 AT,因为单位正交矩阵的逆即为转置 A T , 因 为 单 位 正 交 矩 阵 的 逆 即 为 转 置 )
2.通过A从行空间映射到列空间需要一个缩放因子，也就是式子中的 σ σ ，使得u1,u2…ur亦为列空间中的基向量

用公式表达即为:
AV=U∑ A V = U ∑

看一个例子:

公式里表示的是，现在矩阵 U和V U 和 V 未知，我们想单独先求出V，于是用 ATA A T A 消去U
这也为我们提供了求出U的思路，即 AAT A A T

求出V:

U的公式的推导:

求出U:

我们发现得到的 σ σ 的值一样，这是偶然么，显然不是，因为 ATA A T A 和 AAT A A T 的特征值相等!

于是，得到如下结果

注意，U和V为单位正交矩阵

第二个例子(奇异矩阵):

矩阵A的秩为1，表示行空间，列空间的基向量为1个，对应的零空间和转置零空间的基向量也为1个

为了得出 ∑ ∑ (由于矩阵的秩为1，那么其中一个为0),先来看看 ATA A T A :

得出 σ2=125 σ 2 = 125 ,于是有

有两点需要注意:
1.计算的过程中一个要将U和V正规化(即化为单位向量)
2.当矩阵的零空间和转置零空间不是零向量的时候，V和U中先从行空间和列空间找出基向量，剩下的
从零空间和转置零空间中找， ∑ ∑ 中对应位置为0

最后总结一下我们做了什么

从四个子空间中选取基向量