10 特征向量与特征值

这是关于3Blue1Brown "线性代数的本质"的学习笔记。

图1 预备知识

什么是特征向量

图1 特征向量

线性变换过程中，大多数向量离开了其自己张成的空间（也就是通过原点和向量尖端的直线），不过，有些向量的确留在了其张成的空间，这意味着矩阵对它的作用仅仅是拉伸或压缩而已，这些特殊的向量就是变换的特征向量；每个特征向量都有一个相关的值，被称为特征值，这个值是衡量变换中拉伸或压缩比例的因子。

负的特征值意味着线性变换使得空间发生了翻转，而特征向量停留在它张成的直线上，并未发生旋转。

三维空间的旋转

图2 三维空间的旋转 把一个三维空间的旋转看作绕某个轴旋转一定角度，要比考虑相应的3×3矩阵直观得多

图3 三维空间的旋转可以看作绕某个轴的旋转或3×3的旋转变换矩阵 这种情况下，特征值是1。因为旋转不对任何向量进行拉伸或压缩，只是改变方向，而转轴保持不动。

矩阵和线性变换

对于任意一个线性变换，矩阵的列是变换后的基向量。

对于线性变换，较少用坐标系来理解它，更好的方法是求出它的特征向量和特征值。

特征向量

图4 特征向量和特征值

求解矩阵A的特征向量和特征值，就是求解使得这个等式成立的向量$v$和数$\lambda$。

为了求解图4中的特征向量和特征值，可以对其做变换：
$$\begin{array}{r}Av=\lambda v\\ (A-\lambda I)v=0\end{array}$$
对于上式的求解，可以求：
$$det(A-\lambda I)=0$$

由前面学习的行列式知识我们知道，当且仅当矩阵代表的变换将空间压缩到更低的维度时，其矩阵的行列式为零，也就存在一个非零向量，使得矩阵和它的乘积为零向量。

图5 特征值求解

如图5所示，假设有一个矩阵，列为$[2,1{]}^T$和$[2,3{]}^T$，考虑每个对角元素都减去某个变量$\lambda$，想象一下，逐渐调整$\lambda$的值。当$\lambda$的值改变时，矩阵本身发生改变，因此行列式也在改变。我们的目标在于找一个$\lambda$使得这个行列式为零。也就是调整后的变换将空间压缩到一个更低的维度上。在这个例子中，$\lambda$等于1时恰到好处。

即，当$\lambda$等于1时，A减去$\lambda$乘以单位阵将空间压缩到一条直线上。这意味着存在一个非零向量$v$，使得A减去$\lambda$乘以单位阵的结果乘以$v$等于零向量。

图6 特征值结果

也就是说向量$v$是A的一个特征向量。

图7 特征向量

图8 求解过程回顾

二维线性变换不一定有特征向量

图9 旋转90°的线性变换没有特征向量

旋转90°的线性变换没有特征向量，因为每个向量都发生了旋转并离开了其张成的空间。

而且如果要求特征值的话，也一定无实数解，如图10所示。

图10 旋转90°的线性变换没有特征值

一个特征值可能不止一个特征向量

一个简单的例子就是将所有向量拉伸2倍的线性变换，其变换矩阵如下：
$$\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$$

这个变换的唯一特征值是2，但平面内每个向量都属于这个特征值的特征向量。因为每个向量在变换后都没有离开其张成的空间。

特征基

如果我们的基向量恰好是特征向量，会发生什么？
比如说，将$i$变为原来的-1倍，$j$变为原来的2倍，这个变换对应的矩阵为
$$\left[\begin{array}{cc}-1& 0\\ 0& 2\end{array}\right]$$
注意：它们的倍数-1和2，也就是$i$和$j$的特征值，位于矩阵的对角线上，而其余元素均为0。除了对角元素以外其他元素均为0的矩阵被称为对角矩阵，其所有基向量都是特征向量，矩阵的对角元素就是它们所属的特征值。

图11 对角矩阵的特征向量是所有基向量，其特征值是对应的对角元