线性代数系列讲解第十篇 特征值和特征向量

特征向量和特征值(eigenvector,eigenvalue)

特征向量就是能使得
$$AX=\lambda X$$
其中$\lambda$是个数，而这个$\lambda$就是特征值。$X$是个非零向量。
其实特征向量$X$就是经过$AX$还是能使得与它本身平行。
我是这么想的，特征向量就代表着矩阵的正交基，矩阵对正交基的操作其实还是落在正交基上，因为其他的正交基与本正交基正交而得0，因此，矩阵最终使得正交基伸缩。

如果矩阵$A$是个奇异矩阵，按照我们之前的知识，我们必然可以找到非零向量使得
$$AX=0$$
则必然我们可以找到
$$\lambda =0$$

如果矩阵$A$是个投影矩阵，我们将其写成$P$，则有如下两种情况：
如果$X$在该投影平面内，则$PX=X$，此时$\lambda =1$。
如果$X$垂直投影平面内，则$PX=0$，此时$\lambda =0$。

求解特征值和特征向量

从定义出发:
$$AX=\lambda X$$
我们将其写成
$$(A-\lambda I)X=0$$
我们求解$X$是不为零的向量，因此$A-\lambda I$是奇异矩阵才有非零解。
我们将问题改写如下，来求解$\lambda$
$$det(A-\lambda I)=0$$
举个例子：
$$\begin{gathered} A=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right] \\ det(A-\lambda I)=\left|\begin{array}{cc}3-\lambda & 1\\ 1& 3-\lambda \end{array}\right|=(3-\lambda {)}^2-1 \\ ={\lambda }^2-6\lambda +8=(\lambda -4)(\lambda -2)=0 \end{gathered}$$
我们可以得到${\lambda }_1=4$，${\lambda }_2=2$。还可以发现$6$是矩阵$A$的迹，而$8$是矩阵$A$的行列式。

矩阵的迹(trace)：矩阵的对角线元素之和，而且它也等于特征值之和。比如上面矩阵$A$的迹$=3+3=6$

好了，接下来我们求解特征向量。
$$\begin{gathered} A-4I=\left[\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right] \\ (A-4I)X=0 \end{gathered}$$
则其实就是求解零空间，解的
$$x_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$$
同理求解$(A-2I)X=0$，得$x_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]$。
当我们给矩阵$A$加上$3I$，我们会发现特征值加3，但是特征向量不变。

我们来看看矩阵的特征值不一定是实数，如下$90^{\circ }$的旋转矩阵，还是正交。
$$Q=\left[\begin{array}{cc}cos90^{\circ }& -sin90^{\circ }\\ sin90^{\circ }& cos90^{\circ }\end{array}\right]=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$$
通过计算我们得到两个特征值是$i$和$-i$，其实特征值表现出了虚数，其实表示就是旋转$90^{\circ }$的意思。
我们可以得出结论当矩阵越接近对称或对称，特征值为实数，否则为虚数。
以上讨论的是特征值都没有重复的，下列讨论特征值有重复的，我们一般叫做重根。
$$\begin{gathered} A=\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right] \\ det(A-\lambda I)=\left|\begin{array}{cc}3-\lambda & 1\\ 0& 3-\lambda \end{array}\right|=(3-\lambda {)}^2\to {\lambda }_1={\lambda }_2=3 \\ (A-\lambda )X=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right][X]=[0] \end{gathered}$$
则
$$x_1=\left[\begin{array}{c}1\\ 0\end{array}\right]$$
没有$x_2$，因为它们的特征值相同，对应的特征向量是相同的。

矩阵的对角化

矩阵的对角化的条件：矩阵$A$有$n$个不相关的特征向量（保证$S$可逆），即特征值没有重根。
我们把$n$个不相关特征向量放到$S$中，将$A$与$S$相乘
$$\begin{gathered} AS=A\left[\begin{array}{cccc}|& |& & |\\ x_1& x_2& \cdots & x_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ {\lambda }_1{x}_1& {\lambda }_2{x}_2& \cdots & {\lambda }_n{x}_n\\ |& |& & |\end{array}\right] \\ =\left[\begin{array}{cccc}|& |& & |\\ x_1& x_2& \cdots & x_n\\ |& |& & |\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]=S\Lambda \end{gathered}$$
由于$S$可逆，因此我们能够写成如下
$$\begin{gathered} S^{-1}AS=\Lambda \\ A=S\Lambda S^{-1} \end{gathered}$$
我们可以将$A$进行对角化，而且我们能够通过第二个式子进而计算矩阵的幂。
$$A^2=S\Lambda S^{-1}S\Lambda S=S{\Lambda }^2{S}^{-1}$$
前提：$S$是可逆。
其实我们也可以看如下，如果$AX=\lambda X$，则$A^{2}X=\lambda AX={\lambda }^{2}X$。
结论：$A^k=S{\Lambda }^k{S}^{-1}$
如果当$k$趋于∞，$A^k\to 0$，当且仅当所有的$|\lambda |<1$。

$u_{k+1}=A{u}_k$（差分方程）

我们从向量$u_0$开始
$$u_0=c_1{x}_1+c_2{x}_2+\cdots +c_n{x}_n=Sc$$
$x_i$为特征向量，$u_0$为特征向量的线性组合。
我们可以写出$u_1=A{u}_0$，$u_2=A^2{u}_0$,$u_k=A^k{u}_0$
则
$$u_k=A^k{u}_0=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n={\Lambda }^{k}Sc$$
有个例子就是我们可以验证斐波那契数列的增长速度
斐波那契数列：0，1，1，2，3，5，8，13，…
$$F_{k+2}=F_{k+1}+F_k$$
我们有个小技巧
$$\begin{gathered} u_k=\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right] \\ {u}_{k+1}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]u_k=A{u}_k \end{gathered}$$
我们发现$A$是可以对角化的，我们通过计算得出
$$\begin{gathered} {\lambda }_1=\frac{1+\sqrt{5}}{2}=1.618 \\ {\lambda }_2=\frac{1-\sqrt{5}}{2}=-0.618 \end{gathered}$$
我们发现$|{\lambda }_2|<1$，由于$u_k=A^k{u}_0$，随着幂指数的增长，将趋于0，而${\lambda }_1$会继续增长，因此斐波那契数列的增长速度取决于${\lambda }_1$。

$du/dt=Au$（微分方程）

我们可以知道它的解形式是：
$$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+\cdots +c_n{e}^{{\lambda }_{n}t}{x}_n$$
$x$为特征向量,类比与差分方程$$u_k=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n$$
我们检测一下微分方程中一个解是否符合要求:
$$\begin{gathered} du/dt=Au \\ {\lambda }_1{e}^{{\lambda }_{1}t}{x}_1=A{e}^{{\lambda }_{1}t}{x}_1 \\ {\lambda }_1{x}_1=A{x}_1 \end{gathered}$$得证。
举个例子
$$\begin{gathered} \frac{d{u}_1}{dt}=-u_1+2u_2 \\ \frac{d{u}_2}{dt}=u_1-2u_2 \end{gathered}$$
且$u_0=\left[\begin{array}{c}1\\ 0\end{array}\right]$
我们将有右边的系数写成矩阵$A$
$$A=\left[\begin{array}{cc}-1& 2\\ 1& -2\end{array}\right]$$
矩阵$A$是个奇异矩阵，因此它的一个特征值等于0，因而矩阵另一个特征值为-3。我们计算出它们分别的特征向量
$$x_1=\left[\begin{array}{c}2\\ 1\end{array}\right],x_2=\left[\begin{array}{c}1\\ -1\end{array}\right]$$
我们的解如下形式：
$$u(t)=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]+c_2{e}^{-3t}\left[\begin{array}{c}1\\ -1\end{array}\right]$$
我们通过$u_0$计算出$c_1$，$c_2$
$$u(t)=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}1\\ -1\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$$
得出$$c_1=c_2=1/3$$
我们可以看出解中稳态$u(\infty )=1/3\left[\begin{array}{c}2\\ 1\end{array}\right]$
下面我们可以讨论稳态条件：当$t\to \infty$，$u(t)\to 0$，因而我们要使$e^{\lambda t}\to 0$，则$Re\lambda <0$以及$\lambda =0$
总的来说：
$稳态$：$\lambda =0$及$Re\lambda <0$
$发散$：$Re\lambda >0$
下列看看如何将$A$解耦化（对角化），我们令$u=Sv$，则
$$\begin{gathered} S\frac{dv}{dt}=ASV \\ \frac{dv}{dt}=S^{-1}ASv=\Lambda v \end{gathered}$$
我们能够得出$$v(t)=e^{\Lambda t}v(0)（v(0)=S^{-1}u(0)）$$
则$$u(t)=S{e}^{\Lambda t}{S}^{-1}u(0)=e^{At}u(0)$$
我们就知道如何计算一个矩阵的指数了
$$e^{At}=S{e}^{\Lambda t}{S}^{-1}$$
我们可以用泰勒级数证明
$$\begin{gathered} e^{At}=I+At+\frac{(At{)}^2}{2}+\cdots +\frac{(At{)}^n}{n!}+\cdots \\ =S{S}^{-1}+SA{S}^{-1}t+\frac{S{\Lambda }^2{S}^{-1}{t}^2}{2}+\cdots =S{e}^{\Lambda t}{S}^{-1} \end{gathered}$$
以上讨论的是一阶微分方程，那我们如何解决二阶微分方程或者多阶微分方程，以二阶为例，我们可以将二阶降为一阶。举个例子
$$y^{\prime \prime }+b{y}^{\prime }+ky=0$$
首先我们令
$$u=\left[\begin{array}{c}{y}^{\prime }\\ y\end{array}\right]$$
我们还增加一个条件$y^{\prime }=y^{\prime }$
则
$$u^{\prime }=\left[\begin{array}{c}{y}^{\prime \prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}-b& -k\\ 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{\prime }\\ y\end{array}\right]$$