矩阵的特征值和特征向量的物理意义

原文链接：demohome.blogspot.com/2013/09/blog-post_6026.html

特征值和特征向量的物理意义

ABSTRACT:

特征向量：它经过这种特定的变换后保持方向不变。只是进行长度上的伸缩而已。

特征值：?一个变换（矩阵）可由它的所有特征向量完全表示，而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power）。

内积：内积可以简单的理解为两个函数的相似程度,内积值越大表示两个函数相似程度越大,内积为零表示完全不相似。两个函数内积为零则两个函数正交,在三维空间中它们的夹角为90度,在三维以上不是这样的。

CONTENT

矩阵(既然讨论特征向量的问题。当然是方阵。这里不讨论广义特征向量的概念)乘以一个向量的结果仍是同维数的一个向量。因此。矩阵乘法对应了一个变换。把一个向量变成同维数的另一个向量。那么变换的效果是什么呢?这当然与方阵的构造有密切关系。比如可以取适当的二维方阵。使得这个变换的效果就是将平面上的二维向量逆时针旋转30度。这时我们可以问一个问题。有没有向量在这个变换下不改变方向呢?可以想一下。除了零向量。没有其他向量可以在平面上旋转30度而不改变方向的。所以这个变换对应的矩阵(或者说这个变换自身)没有特征向量(注意:特征向量不能是零向量)。所以一个变换的特征向量是这样一种向量。它经过这种特定的变换后保持方向不变。只是进行长度上的伸缩而已(再想想特征向量的原始定义Ax=?cx。你就恍然大悟了。看到了吗?cx是方阵A对向量x进行变换后的结果。但显然cx和x的方向相同)。而且x是特征向量的话。ax也是特征向量(a是标量且不为零)。所以所谓的特征向量不是一个向量而是一个向量族。?另外。特征值只不过反映了特征向量在变换时的伸缩倍数而已。对一个变换而言。特征向量指明的方向才是很重要的。特征值不是那么重要。虽然我们求这两个量时?先求出特征值。但特征向量才是更本质的东西!

比如平面上的一个变换。把一个向量关于横轴做镜像对称变换。即保持一个向量的横坐标不变。但纵坐标取相反数。把这个变换表示为矩阵就是[1?0;0?-1]。其中分号表示换行。显然[1?0;0?-1]*[a?b]'=[a?–b]'。其中上标?'?表示取转置。这正是我们想要的效果。那么现在可以猜一下了。这个矩阵的特征向量是什么?想想什么向量在这个变换下保持方向不变。显然,横轴上的向量在这个变换下保持方向不变(记住这个变换是镜像对称变换。那镜子表面上(横轴上)的向量当然不会变化)。所以可以直接猜测其特征向量是?[a?0]'(a不为0)。还有其他的吗?有。那就是纵轴上的向量。这时经过变换后。其方向反向。但仍在同一条轴上。所以也被认为是方向没有变化。

当我们引用了Spectral?theorem（谱定律）的时候，情况就不一样了。Spectral?theorem的核心内容如下：一个线性变换A（用矩阵乘法表示）可表示为它的所有的特征向量的一个线性组合，其中的线性系数就是每一个向量对应的特征值，写成公式就是：
T(x)=(V1。x)λ1V1+(V2。x)λ2V2+(V3。x)λ3V3+。。。
其中，V1?V2?V3等表示特征向量，λ1?λ2?λ3等表示特征值，V表示输入向量，T(x)即变换后的向量。

从这里我们可以看出，一个变换（矩阵）可由它的所有特征向量完全表示(即T(x)=Ax)。而每一个向量所对应的特征值，就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量（power），这种贡献是一种整体上的贡献率，对于单个向量来说还要考虑特征向量V与输入向量x的点积，即dot(V,x)部分。也就是说，即使λ1相比其它特征值来说很大，使得V1的贡献率很高，但是（V1。x）=0，T(x)在V1上也没有任何表现。

我们知道，一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以完全表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以完全描述某一几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发挥。

---

案例学习：二维空间直角坐标系下，有一向量x=[1?1]'，求通过变换矩阵A=[1?2;3?4]后的向量。

步骤1：题目中之所以强调直角坐标系，是因为想让大家清楚，日常生活中所默认的这种坐标系的变换矩阵为A0=[1?0;?0?1]，其对应的2组特征值和特征向量为：横坐标即λ1=1，V1=[1?0]';?纵坐标即λ2=1，V2=[0?1]'。V1和V2也可以称为二维空间的一组基。

你可以发现T(x)=A0x=[1?0;?0?1]?*[1?1]'=[1?1]'。根据谱定理也有：T(x)=(V1。x)λ1V1+(V2。x)λ2V2=dot(V1,x)*?λ1*V1+dot(V2,x)*?λ2*V2=[1?1]'。

步骤2：下面看一下题目中的变换矩阵A=[1?2;3?4]，其对应的特征值和特征向量为：λ1=-0。3723，V1=[-0。8246?0。5658]';?λ2=5。3723，V2=[-0。4160?-0。9094]'。如果不假思索直接得到T(x)=Ax=[3?7]'，当然结果正确，但本案例旨在说明这个结果的意义和背后的故事。首先需要明白结果[3?3]'仍然是在直角坐标系下，即基为[1?0]'和[0?1]'。根据谱定理也有：T(x)=(V1。x)λ1V1+(V2。x)λ2V2=dot(V1,x)*?λ1*V1+dot(V2,x)*?λ2*V2=[2。8824?6。5294]'≈[3?7]'。将x变换前后的在直角坐标系中的向量图表示如下，图中得出：A对x的作用是旋转和缩放。

步骤3：?更换直角坐标系的基，由原来的[1?0]'和[0?1]'变为由A的特征向量[-0。8246?0。5658]'和[-0。4160?-0。9094]'组成的一对正交基。将x映射到此正交基构成的坐标系中，得到[-0。2588???-1。3254]'（变换前的x）和?[1。4867???-7。6136]（变换后的x）。下图给出了坐标系变换前后的对比图，图中可得：更换正交基是对整个坐标系进行旋转和缩放。