特征值分解和特征向量

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。
如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：
Av=λv
λ为特征向量v对应的特征值。特征值分解是将一个矩阵分解为如下形式：
A=QΣ
其中，Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值由从大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵A的信息可以由特征值和特征向量表示。
对于矩阵为高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。

摘抄自：https://github.com/scutan90/DeepLearning-500-questions