利用特征值分解理解矩阵特征值和特征向量的几何意义
本文发自：http://www.haopeng233.top/2018/06/15/math-matrix-eigenvalue/
欢迎大家访问：）一直有一个疑问，矩阵的特征值和特征向量到底代表了矩阵的什么性质？尤其是特征值还被称为矩阵的Eigenvalues ，然后看了知乎上的一些解释，也未能得到较好的理解，有些太理论：）
然后本文就从自己现有知识体系下解释一下矩阵的特征向量与特征值的几何意义。有如下公式，$ x ，y $为向量，$ A $为矩阵，而且是方阵，因为只有方阵才有特征值和特征向量的概念，我会在最后给出非方阵的分析，基于SVD的理解，但不是很透彻，仅作为了解。
$$ y = Ax$$
本文主要分析矩阵$A$的特征值在这个过程中到底起到了怎么样的作用。
预备知识
首先你需要了解以下知识
1.坐标变换
坐标变换建议阅读：https://blog.csdn.net/u011240016/article/details/52821139
坐标变换想做什么事呢？假设$n$维空间有两组线性无关的基 ${α1,...,αn}$，${β1,...,βn}$，它们一定可以互相表示，有以下公式成立，记过渡矩阵为$C$，当${α1,...,αn}$为标准正交基时，$[β1,...,βn]=C$ ,下图的第一个公式称为基变换。
此外还有坐标变换，向量$γ$在基底$α1,α2,...,αn $的坐标是$x_1,x_2,...,x_n$,在基底$β1,β2,...,βn$下的坐标是$y_1,y_2,...,y_n$则坐标变换公式如下 ,注意坐标变换与基变换中$C$的位置不同。
2.特征值分解
特征值分解就是矩阵的对角化，就是可以将$A$分解为下面的形式，$Q$是由对应特征向量组成的矩阵，列向量是特征向量，$Σ$为对角矩阵，对角线上的元素为$A$的特征值。
$$A = QΣQ^{-1}$$
并不是所有方阵都可以对角化，方阵A可以被对角化的条件是
n阶方阵有n个不同的特征值
如果阶n方阵存在重复的特征值,每个特征值的线性无关的特征向量的个数恰好等于该特征值的重复次数
实际上都是为了保证$Q$是可逆的，如果存在$n$个线性无关的特征向量，则矩阵$Q$一定可逆 。
3.SVD分解
这个网上有许多介绍，我就不赘述了。任意矩阵都可以进行SVD分解。
正文
1.先考虑一个比较特殊的情况,$A$是方阵，并且可以特征值分解
$A$是方阵，因此$Ax$后得到的$y$仍是原空间的一个向量，没有投影或者升维的过程。从结果来看，$A$的作用是将$x$旋转一定角度并拉伸。
那具体如何过程是怎样的，首先将$A$做特征值分解，$Ax=QΣQ^{-1}x$，$Q$是满秩的也就是列线性无关，可以看作是原空间的一组基，所以$Q^{-1}x$可以看作是坐标变换，其含义是将$x$变换到新的基下(对于同一个过渡矩阵$C$，基变化和坐标变化是反向的)，这些基由特征向量构成，特征向量是线性无关的但不是正交的（实对称矩阵特征向量正交），再与$Σ$相乘，$Σ$是对角矩阵，其含义就是将$x$沿着变换后的坐标轴缩放，这里的比例系数是新的基（特征向量）对应的特征值，然后再乘以$Q$变回到原始的标准坐标系下。
上面的操作等价于在标准坐标系下沿着特征向量的方向直接缩放，每个方向缩放的尺度就是对应的特征值。以上两种不同的操作最后可以得到同样结果，即$x$被旋转并缩放。实际上是把$x$朝特定的方向缩放，使我们产生了$x$被旋转的感觉。
那么如果我们将$x$乘以很多遍$A$会有什么效果？从上述分析可以得到，$x$会被拉伸到$A$的最大特征值对应的特征向量的方向上。这里盗图一张。
2.A是普通方阵，不能被特征值分解
普通$n$阶方阵一定有$n$个特征值，对应$n$个特征向量，但是特征向量不一定是线性无关的，所以不能对其进行特征值分解（以下分析不太严谨），但我们可以认为这只不过是对应的拉伸的方向少了一些，比如此时只有$m（m
3.A是非方阵
非方阵的话就不存在特征值和特征向量的概念了，其实不属于本文的讨论的范围，但简单说一下，我们可以对$A$矩阵进行SVD分解。
SVD分解可得到如下形式，$U$，$V^T$是正交矩阵，$Σ$是奇异值矩阵，只有对角线元素有值，$Ax$的意义是先在原空间内做旋转，再投影$（m＜n）$到低维空间并缩放（奇异值）倍，或升维度$（m＞n）$到高维空间并缩放（奇异值）倍，然后在新的空间内旋转。结果就是向量$x$被旋转、缩放、投影或升维。
