特征向量、特征值分解、奇异值分解SVD

写在前面：

现有的印象是：特征向量代表向量最坚守的部分，方向不变，只是会伸缩。而特征分解是沿着最重要的特征向量方向上的分解，有SVD分解、PCA主城成分分析等。但无法深入讲下去了。

---

特征值和特征向量的几何意义

矩阵乘法其实是对应着一个线性变换，是把任意一个向量变成另一个方向或者长度的新向量。在这个变换中，原向量主要发生旋转、伸缩的变化。如果某个向量x在矩阵A作用下只发生了伸缩变化，其位置仍停留在原来的直线上，称这些向量为矩阵的特征向量，伸缩的比例就是特征值。

定义：

几何意义：

对于实对称矩阵来说，不同特征值对应的特征向量必定正交;我们也可以说，一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基;

在机器学习特征提取中，意思就是最大特征值对应的特征向量方向上包含最多的信息量，如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，但有用信息量变化不大，PCA降维就是基于这种思路。我们通过特征值分解得到的对应特征值较大的前N个特征向量，便表示了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵的变换。

特征值分解

前提：变换的矩阵必须是方阵。

目的：提取矩阵重要的特征。

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。

正文：

Ax = b表示矩阵可以将一个向量线性变换到另一个向量，这样一个线性变换的作用可以包含旋转、缩放和投影三种类型的效应

奇异值分解将一个矩阵原本混合在一起的三种作用效果，分解出来了。

其中Q是这个矩阵A的特征向量组成的矩阵，正交矩阵是可逆的。Σ = diag(λ1, λ2, ..., λn)是一个对角阵，每一个对角线上的元素就是一个特征值，由大到小排列。

奇异值分解（SVD）

特征值分解只适用于方阵。而在现实的世界中，我们看到的大部分矩阵都不是方阵，奇异值分解是一个能适用于任意的矩阵的一种分解的方法：

那么奇异值和特征值是怎么对应起来的呢？首先，我们将一个矩阵A的转置 AT * A，将会得到 ATA 是一个方阵，我们用这个方阵求特征值可以得到：

---

参考：

特征值和特征向量的几何意义https://blog.csdn.net/qq_36653505/article/details/82025971

矩阵的各种分解https://blog.csdn.net/ycc18829026593/article/details/80567565

利用特征值分解理解矩阵特征值和特征向量的几何意义https://blog.csdn.net/pH646463981/article/details/80715764

SVD(特征值分解和奇异值分解的区别)https://blog.csdn.net/lyf52010/article/details/79942966

https://www.cnblogs.com/fuleying/p/4466326.html