特征值分解和奇异值分解

特征值分解和奇异值分解比较

相同处

提取一个矩阵的重要特征，特征值分解是奇异值分解的一个特殊情况

不同处

面向的矩阵不同，特征值分解是面向对称矩阵；奇异值分解是任意矩阵都可以

特征值分解

特征值、特征向量

1. 向量形式：

$$Av=\lambda v$$

2. 几何意义：

矩阵A与向量v相乘等于对向量进行一个线性变换（旋转和拉伸）：但这里只是进行了拉伸，拉伸的情况用$\lambda$表示。

特征值分解

$$A=Q\Sigma Q^{-1}$$
Q是矩阵A的特征向量组成的矩阵，$\Sigma$ 是对角阵，对角线上是特征值。这里的A一定是方阵

特征值分解例子

结果：将（1.2，0.8）和（0.8，1.2）进行分解后得到了特征值和特征向量：${\lambda }_1=2,(1,1{)}^T$
${\lambda }_2=0.4,(1,-1{)}^T$

奇异值分解

ps:可针对于非方阵进行分解；对任意矩阵进行分解；

奇异值分解

1. 向量形式

M为一个任意的矩阵$m\ast n$;
U是一个$m\ast m$的方阵，U是一个正交矩阵，U里的正交向量被称为左奇异向量
$\Sigma$ 是$m\ast n$，除了对角线的元素都为0，对角线上被称为奇异值，
$V^T$是V的转置矩阵，$n\ast n$，V是一个正交矩阵，V里的正交向量被称为右奇异向量

2. 几何意义：

M 是可以分解成三个矩阵。V 表示了原始域的标准正交基，U表示经过 M 变换后的co-domain的标准正交基，Σ 表示了V 中的向量与u 中相对应向量之间的关系。

奇异值分解两种方法

奇异值分解例子

这里我们用一个简单的矩阵来说明奇异值分解的步骤。我们的矩阵A定义为：

参考：
[1]Microstrong 公众号 机器学习中SVD总结