特征值和特征向量理解

1、线性变换

首先来个线性方程组

换个表达方式，

所以可以写成如下格式，

现在有矩阵A，列向量X和Y，向量X通过矩阵A线性变换到Y，如下图

。

2、接下来，我们说明上述公式的几何意义。

也就是

这就一目了然了，X 经过线性变换后变为Y，涉及到了两个变化，伸缩和旋转，

也就是X先作伸缩变换，然后旋转到Y的位置。

矩阵A记录了如何由x1 and x2 线性变换到y1 and y2，换句话说，记录了y1 and y2 在x1 and x2上的投影。

此时，我们应该认识到，矩阵A代表了线性变化规则，矩阵乘法代表了一个线性变化。

在我后来的理解中，A可以理解为坐标，一种在原始坐标轴（比如我们最熟悉的XY坐标）上各分量的坐标，经过线性变换，换到了另一个坐标系下，当然会得到一套新坐标。

3、这时，我们可以思考一个问题，有没有一种矩阵A，可以向量在这个变换下不改变方向呢？可以实现下面的效果

也就是只有伸缩变化，没有旋转。

即

这里就眼熟了，λ为特征值(eigenvalue)， X为特征向量(eigenvector)。

引用《线性代数的几何意义》的描述：“矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。”

4、特征值和特征向量的实际用途

特征值和特征向量的计算容易，但是用途呢？

经过数学上的推导的，我们就可以知道，特征值对应的特征向量就是理想中想取得正确的坐标轴，而特征值就等于数据在旋转之后的坐标上对应维度上的方差。

以特征向量作为坐标轴，在这个坐标系下，向量的每个分量的变换就仅仅是个数乘了。

或者说，就是寻找一个正交系去表示你原来的函数，特征向量就是新的正交系的坐标轴，特征值就是坐标轴对应的坐标。