线性代数及其应用：第五章 特征值与特征向量

  前言：这篇blog是《 Linear Algebra and Its Applications》第五章的一些学习笔记。

第五章 特征值与特征向量

1.特征值与特征向量

  对方阵$A_{n\times n}$，其特征方程表示为$$Ax=\lambda x(x̸=0)$$其中$\lambda$是标量，也叫特征值(特征根，本征值)，$x$是向量，也叫特征向量。

  其几何意义：特征向量的方向是一个特殊的方向，在这个方向上进行矩阵$A$的线性变换，等于在这个方向伸缩$\lambda$倍。

  方阵一定有特征值，因为方阵的特征多项式在复数域内一定能分解成一次因式，但是方阵不一定有实特征值。

1.1. 求解特征值与特征向量

  求解$$(A-\lambda I)x=0$$要求$x$在$A-\lambda I$的零空间上，所以零空间不为0，所以$$det(A-\lambda I)=0$$求解该方程即可得到特征值$\lambda$，把$\lambda$代回$$(A-\lambda I)x=0$$求解该方程得到特征向量$x$。

1.2. 性质

  假设$A_{n\times n}=\{a_{ij}\}$有特征值${\lambda }_n$与特征向量$x_n$，则$$\left|\begin{array}{cccc}{a}_{11}-\lambda & & & a_{ij}\\ & a_{22}-\lambda & & \\ & & \dots & \\ a_{ij}& & & a_{nn}-\lambda \end{array}\right|=({\lambda }_1-\lambda )({\lambda }_2-\lambda )\dots ({\lambda }_n-\lambda )$$

下面证明性质会用到上式。

性质一：${\lambda }_1\cdot {\lambda }_2\cdot {\lambda }_3\dots {\lambda }_n=det(A)$
证明：把$\lambda =0$代入上式即可证明。

性质二：${\lambda }_1+{\lambda }_2+{\lambda }_3+\cdots +{\lambda }_n=Tr(A)=a_{11}+a_{22}+\cdots +a_{nn}$
证明：假设把上式等号左右展开，看${\lambda }^{n-1}$项的系数，左边$=(-1{)}^{n-1}(a_{11}+a_{22}+\cdots +a_{nn}){\lambda }^{n-1}$=右边=$(-1{)}^{n-1}({\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n){\lambda }^{n-1}$，证毕。

性质三：$f(A)$的特征值是$f({\lambda }_i)$，$f(\cdot )$是多项式函数
证明：$f(A)=a_n{A}^n+a_{n-1}{A}^{n-1}+\cdots +a_{1}A+a_0$两边右乘特征向量$x$。
$$\begin{array}{rl}f(A)x& =a_n{A}^{n}x+a_{n-1}{A}^{n-1}x+\cdots +a_2{A}^{2}x+a_{1}Ax+a_{0}x\\ & =a_n\lambda A^{n-1}x+a_{n-1}\lambda A^{n-2}x+\cdots +a_2\lambda Ax+a_1\lambda x+a_{0}x\\ & =a_n{\lambda }^2{A}^{n-2}x+a_{n-1}{\lambda }^2{A}^{n-3}x+\cdots +a_2{\lambda }^{2}x+a_1\lambda x+a_{0}x\\ & \dots \\ & =a_n{\lambda }^{n}x+a_{n-1}{\lambda }^{n-1}x+\cdots +a_2{\lambda }^{2}x+a_1\lambda x+a_{0}x\\ & =f(\lambda )x\end{array}$$

性质四：不同特征根对应特征向量一定线性无关。
证明：设${\lambda }_1$的一个特征向量$x_1$，${\lambda }_2$的一个特征向量$x_2$，${\lambda }_1̸={\lambda }_2$。
令$$c_1{x}_1+c_2{x}_2=0\text{\hspace{1em}(1)}$$(1)左乘A得$$c_{1}A{x}_1+c_{2}A{x}_2=c_1{\lambda }_1{x}_1+c_2{\lambda }_2{x}_2=0\text{\hspace{1em}(2)}$$

(1)左乘${\lambda }_1$得$$c_1{\lambda }_1{x}_1+c_2{\lambda }_1{x}_2=0\text{\hspace{1em}(3)}$$

(2)-(3)得$$c_2({\lambda }_2-{\lambda }_1)x_2=0$$，由于${\lambda }_2̸={\lambda }_1$，$x_2̸=0$，故$c_2=0$，重复上面方法，消去$c_2$，可得$c_1=0$，故(1)式子成立一定有$c_1=c_2=0$，所以$x_1,x_2$线性无关。

性质五：Hamilton-Cayley定理，设$$f(\lambda )=|\lambda E-A|={\lambda }^n+b_1{\lambda }^{n-1}+\cdots +b_{n-1}\lambda +b_n$$则$$f(A)=|\lambda E-A|=A^n+b_1{A}^{n-1}+\cdots +b_{n-1}A+b_{n}E=0$$

2. 特征值分解

2.1. 特征值分解：

  设$A$的特征值为${\lambda }_n$，特征向量为$x_n$，令$$\Lambda =\left[\begin{array}{cccc}{\lambda }_1& & & 0\\ & {\lambda }_2& & \\ & & \dots & \\ 0& & & {\lambda }_n\end{array}\right]$$

$$S=\left[\begin{array}{cccc}|& |& & |\\ x_1& x_2& \dots & x_n\\ |& |& & |\end{array}\right]$$

则 $$\begin{array}{rl}A\cdot S& =(A\cdot x_1,A\cdot x_2,\dots ,A\cdot x_n)\\ & =({\lambda }_1\cdot x_1,{\lambda }_2\cdot x_2,\dots ,{\lambda }_n\cdot x_n)=S\cdot \Lambda \end{array}$$

如果$S$可逆，则$$A=S\Lambda S^{-1}$$

这就把$A$矩阵分解成对角矩阵，但是要求$S$可逆，等价于要求$S$的列向量线性无关，等价于要求 $A$至少有n个线性无关的特征向量，我们需要把这$n$个线性无关的特征向量放到$S$的列向量。

  根据1.2.的性质四，我们知道不同特征根的特征向量一定线性无关，所以如果我们知道$A$有$n$个不同的特征根$\lambda$，则A一定可以进行特征值分解，若存在特征根一样的情况，特征向量是否线性无关要具体分析，也有可能有n个线性无关的特征向量，例如下面的矩阵就可以进行特征值分解。$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$下面的矩阵不可以进行特征值分解。
$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]$$

如果你知道Jordan标准型(后面会讲)，就会很清楚这一点。

2.2. 特征值分解应用：差分方程

  如果$A$可以进行特征值分解$A=S\Lambda S^{-1}$，则$A^K=S{\Lambda }^k{S}^{-1}$，$\Lambda$是对角矩阵，所以其k次方就是对角线元素分别取k次方。
  知道这个前提后，假设我们要求解斐波那契数列，$F_k=F_{k+1}+F_{k+2},F_0=0,F_1=1$，如果我们想求$F_n$的值，构造$$u_k=\left(\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right)$$则$$u_{k+1}=\left(\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right)=\left(\begin{array}{c}{F}_{k+1}+F_k\\ F_{k+1}\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right)=A\cdot u_k$$

所以$$u_k=A{u}_{k-1}=A^2{u}_{k-2}=\cdots =A^k{u}_0=S{\Lambda }^k{S}^{-1}{u}_0$$其中$$u_0=\left(\begin{array}{c}{F}_1\\ F_0\end{array}\right)=\left(\begin{array}{c}1\\ 0\end{array}\right)$$我们在求得$u_n=S{\Lambda }^n{S}^{-1}{u}_0$后，取$u_n$的第二个元素即是$F_n$的值。

2.2.1. 重要差分方程：Markov方阵

  如果$A$是Markov方阵(状态转移矩阵)，则$A=\{a_{ij}{\}}_{n\times n}$满足，$\sum _{i=1}^n{a}_{ik}=1，0\le a_{ik}\ge 1$，$a_{ij}$表示从状态$j$转移到状态$i$的转移概率。以二阶为例，假如我们知道一个初始状态$$\left[\begin{array}{c}{X}_0\\ Y_0\end{array}\right]$$

且知道Markov方阵(状态转移矩阵)$$A=\left[\begin{array}{cc}{a}_{00}& a_{01}\\ a_{10}& a_{11}\end{array}\right]$$则我们可以知道下一时刻的状态为：$$A\left[\begin{array}{c}{X}_0\\ Y_0\end{array}\right]=\left[\begin{array}{cc}{a}_{00}& a_{01}\\ a_{10}& a_{11}\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\end{array}\right]=\left[\begin{array}{c}{X}_0{a}_{00}+Y_0{a}_{01}\\ Y_0{a}_{10}+Y_0{a}_{11}\end{array}\right]=\left[\begin{array}{c}{X}_1\\ Y_1\end{array}\right]$$

具体例子可以看blog，这样能够更好理解，这里暂时不讲。

  Markov方阵一定有特征根1，且$\lambda =1$对应稳态，$\lambda <1$对应暂态，如果$\lambda =1$是重根，则有多个稳态，最终的稳态是是这些稳态的线性组合。

2.3. 特征值分解应用：微分方程

  对于带有方阵的微分方程$$\frac{\partial u}{\partial t}=Au$$注意这里的方阵A是作为系数，和对矩阵求导不一样。如果我们要求的是不带方阵的，我们知道的微分方程$\frac{\partial y}{\partial x}=ay$，则我们可以猜到结果是$y=c\cdot e^{ax}$，$c$是常数，同理我们猜测带有方阵的微分方程的解是$$u(t)=e^{At}\cdot u(0)$$，向量$u(0)$是一个初值，和常数$c$的作用类似，我们对$e^{At}$进行泰勒展开(矩阵的很多运算可以类比标量的运算，但不是全部，泰勒展开就是可以类比的)$$\begin{array}{rl}{e}^{At}& =I+At+\frac{(At{)}^2}{2!}+\frac{(At{)}^3}{3!}+\dots \\ & =S(I+\Lambda t+\frac{(\Lambda t{)}^2}{2!}+\frac{(\Lambda t{)}^3}{3!}+\dots )S^{-1}\\ & =S{e}^{\Lambda t}{S}^{-1}\\ & =S\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& & & 0\\ & e^{{\lambda }_{2}t}& & \\ & & \dots & \\ 0& & & e^{{\lambda }_{n}t}\end{array}\right]S^{-1}\end{array}$$

所以微分方程的解是$$u(t)=S{e}^{\Lambda t}{S}^{-1}u(0)=\sum _{i=1}^N{c}_i{e}^{\lambda t}{x}_i$$

其中$c=S^{-1}u(0)$，$c_i$是$c$的第$i$个元素，$x_i$是$S$中第$i$个列向量，也是${\lambda }_i$对应的特征向量。

例如我们想求解微分方程$$y^{\prime \prime \prime }-3y^{\prime \prime }+2y^{\prime }=0$$则我们可以构造如下的矩阵微分方程$$u^{\prime }=\left[\begin{array}{c}{y}^{\prime \prime \prime }\\ y^{\prime \prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccc}3& -2& 0\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{\prime \prime }\\ y^{\prime }\\ y\end{array}\right]=Au$$

  我们进一步讨论微分方程，在$t\to \infty$时的稳定性，我们知道微分方程的解可以表示成$$u(t)=\sum _{i=1}^N{c}_i{e}^{\lambda t}{x}_i=c_1{e}^{\lambda t}{x}_1+c_2{e}^{\lambda t}{x}_2+\dots c_n{e}^{\lambda t}{x}_n$$。所以微分方程的解有如下三种情况:
情况一：如果所有${\lambda }_i$的实部小于$0$，则$u(t)$稳定到$0$；
情况二：如果${\lambda }_1$的实部等于$0$，其余${\lambda }_i$的实部小于$0$，则$u(t)$稳定到$c_1{x}_1$；
情况三：如果任一${\lambda }_i$的实部大于$0$，则$u(t)$发散；

  特别的，对于$2\times 2$方阵$A$，由于其特征方程$$det(A-\lambda I)={\lambda }^2-Trace(A)\lambda +det(A)$$

要求其迹$Trace(A)<0$，行列式$det(A)>0$，$A$构成的微分方程$\frac{\partial u}{\partial t}=Au$的解才稳定。

3. 复数矩阵

  复数矩阵就是元素含有复数的矩阵。在复数域，相当于把实数域的转置T操作，变成了复数域的厄米H操作，厄米操作就是对矩阵求共轭转置。

  类比转置操作，厄米操作有如下性质：
性质一：如果复向量$x,y$正交，则$x^{H}y=0$；
性质二：复向量内积，$||x|{|}^2=x^{H}x=|x_1{|}^2+|x_1{|}^2+\dots$
性质三：对复矩阵$A,B$，则$(AB{)}^H=B^H{A}^H$

  复数矩阵最有名的应用，就是FFT(快速傅里叶变换)。

3.1. 三个典型的复数矩阵

  复数域：厄米矩阵A: $A=A^H$，反厄米矩阵A: $A=-A^H$，酉矩阵U: $U{U}^H=I$

  对应实数域：实对称矩阵A: $A=A^T$，反实对称矩阵A: $A=-A^T$，正交矩阵Q: $Q{Q}^T=I$

4. 相似变换

  对于方阵$A,B$，如果存在可逆矩阵$M$，使得$$B=M^{-1}AM$$则称方阵$B$与方阵$A$相似，从$A$到$B$的变换称为相似变换。

  如果$A,B$相似，则$A,B$有相同的特征值，如果同时$A$有特征向量$X$，则对应的$B$有特征向量$M^{-1}X$。证明如下：$$AX=\lambda X，且A=MB{M}^{-1}$$则$$MB{M}^{-1}X=\lambda X$$所以$$B(M^{-1}X)=\lambda (M^{-1}X)$$证毕。

  可以说，相似变换把$n\times n$矩阵空间分割成若干子空间，每个子空间可以当做一个类别，子空间内部矩阵相似，因为相似是可以传递的。相似的矩阵有相同的Jordan标准型。第二章中，我们已经证明，如果我们给定线性变换前后，两个向量空间的基，则这个线性变换可以用矩阵表示，特殊的，如果我们的矩阵是方阵，那么线性变换其实是在一个向量空间内部，针对同一组基的变换。下面我们会证明，相似的矩阵其实是同一个线性变换，只不过选定的基不同。

证明：假设我们有相似变换$$B=M^{-1}AM$$

我们的线性变换是$A$，原先的基是$[u_1,u_2\dots u_n]$，则$$A([u_1,u_2\dots u_n])=[u_1,u_2\dots u_n]A$$

新的基$[v_1,v_2\dots v_n]$与原先的基有变换$$\begin{gathered} [v_1,v_2\dots v_n]=[u_1,u_2\dots u_n]M \\ 则[v_1,v_2\dots v_n]M^{-1}=[u_1,u_2\dots u_n] \end{gathered}$$

那么我们把线性变换作用到新的$v$基有$$\begin{array}{rl}A([v_1,v_2\dots v_n])& =A([u_1,u_2\dots u_n]M)\\ & =A([u_1,u_2\dots u_n])M\\ & =[u_1,u_2\dots u_n]AM\\ & =[v_1,v_2\dots v_n]M^{-1}AM\\ & =[v_1,v_2\dots v_n]B\end{array}$$

所以，针对线性变换$A$，如果我们限定变换前后的基为$u$基，则该线性变换可以用矩阵$A$表示；如果我们限定变换前后的基为$v$基，则该线性变换可以用矩阵$B$表示。

证毕。

4.1. 矩阵相似的应用

  我们可以利用矩阵相似变换，把矩阵变成对角矩阵，以方便我们的进一步求解。

4.1.1 解微分方程

  求解微分方程$$\frac{du}{dt}=Au$$

如果我们知道矩阵$A$有对角相似矩阵$B$，满足$$B=M^{-1}AM$$

则我们可以求得$v$满足$u=Mv$，则$$M\frac{dv}{dt}=AMv$$进一步化简得

$$\frac{dv}{dt}=M^{-1}AMv=Bv$$

由于$B$是对角矩阵，我们可以轻易求得$v$的取值，进而求得$u$的值。

4.1.2 解差分方程

  求解差分方程$$u_{k+1}=A{u}_k$$

如果我们知道矩阵$A$有对角相似矩阵$B$，满足$$B=M^{-1}AM$$

则我们可以求得$v$满足$u=Mv$，则$$M{v}_{k+1}=AM{v}_k$$进一步化简得

$$v_{k+1}=M^{-1}AM{v}_k=B{v}_k$$

由于$B$是对角矩阵，我们可以轻易求得$v$，进而求得$u$的值。

4.2. 矩阵分解

  对于任意方阵$A$，一定有复特征值，可以被酉矩阵$U$分解为上三角形式$$U^{-1}AU=T$$，证明过程较为麻烦，下面以$A_{4\times 4}$为例进行证明。

证明：
  $A{x}_1={\lambda }_1{x}_1$，${\lambda }_1$为$A$的特征值，$x_1$为特征向量。

  对$x_1$进行单位化，得到$q_1$同样满足$A{q}_1={\lambda }_1{q}_1$。

  找到一组线性无关的向量$q_1,b,c,d$，对其进行施密特正交化法得到$q_1,q_2,q_3,q_4$。

  构造酉矩阵$U_1=[q_1,q_2,q_3,q_4]$，则$$A{U}_1=[A{q}_1,A{q}_2,A{q}_3,A{q}_4]=[{\lambda }_1{q}_1,A{q}_2,A{q}_3,A{q}_4]$$

  则$$\begin{array}{rl}{U}_1^{-1}A{U}_1& =U_1^{-1}[{\lambda }_1{q}_1,A{q}_2,A{q}_3,A{q}_4]\\ & =U_1^H[{\lambda }_1{q}_1,A{q}_2,A{q}_3,A{q}_4]\\ & =\left[\begin{array}{c}{q}_1^H\\ q_2^H\\ q_3^H\\ q_4^H\end{array}\right]\left[\begin{array}{c}{\lambda }_1{q}_1,A{q}_2,A{q}_3,A{q}_4\end{array}\right]\\ & =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& \ast & \ast & \ast \\ 0& \ast & \ast & \ast \\ 0& \ast & \ast & \ast \end{array}\right]\\ & =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& & & \\ 0& & F_{3\times 3}& \\ 0& & & \end{array}\right]\end{array}$$

$\ast$表示未知值，也就是我们暂时不关心其取值，对右下角$F_{3\times 3}$矩阵，我们继续进行上面的操作，设$F{q}_1^{\prime }={\lambda }_2{q}_1^{\prime }$，利用施密特正交化法找到$q_2^{\prime },q_3^{\prime }$，设$$U_2=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& & & \\ 0& q_1^{\prime }& q_2^{\prime }& q_3^{\prime }\\ 0& & & \end{array}\right]$$

  则$$\begin{array}{rl}(U_{1}A{U}_1^{-1})U_2& =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& & & \\ 0& & F_{3\times 3}& \\ 0& & & \end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& & & \\ 0& q_1^{\prime }& q_2^{\prime }& q_3^{\prime }\\ 0& & & \end{array}\right]\\ & =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& & & \\ 0& F{q}_1^{\prime }& F{q}_2^{\prime }& F{q}_3^{\prime }\\ 0& & & \end{array}\right]\\ & =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& & & \\ 0& {\lambda }_2{q}_1^{\prime }& F{q}_2^{\prime }& F{q}_3^{\prime }\\ 0& & & \end{array}\right]\end{array}$$

其中，第二个等号的求解利用了矩阵的分块乘法。又有$$U_2^{-1}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& & q_1^{{}^{\prime }H}& \\ 0& & q_2^{{}^{\prime }H}& \\ 0& & q_3^{{}^{\prime }H}& \end{array}\right]=U_2^H$$

  所以$$\begin{array}{rl}{U}_2^{-1}(U_{1}A{U}_1^{-1})U_2& =\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& & q_1^{{}^{\prime }H}& \\ 0& & q_2^{{}^{\prime }H}& \\ 0& & q_3^{{}^{\prime }H}& \end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& & & \\ 0& {\lambda }_2{q}_1^{\prime }& F{q}_2^{\prime }& F{q}_3^{\prime }\\ 0& & & \end{array}\right]\\ & =\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& {\lambda }_2& \ast & \ast \\ 0& 0& & \\ 0& 0& & F_{2\times 2}^{\prime }\end{array}\right]\end{array}$$

  继续对右下角的$F_{2\times 2}^{\prime }$进行上述操作，找到$U_3,U_4$以及${\lambda }_3,{\lambda }_4$，则存在$U=U_1{U}_2{U}_3{U}_4$使得$$U^{-1}AU=\left[\begin{array}{cccc}{\lambda }_1& \ast & \ast & \ast \\ 0& {\lambda }_2& \ast & \ast \\ 0& 0& {\lambda }_3& \ast \\ 0& 0& 0& {\lambda }_4\end{array}\right]$$

  若$A$特征向量与特征根为实数，则酉矩阵$U$简化为正交矩阵$Q$。

4.3. Normal矩阵

  normal矩阵$N$，满足$N^{H}N=N{N}^H$，下面介绍六个基本normal矩阵。

  实数域：实对称矩阵A: $A=A^T$，反实对称矩阵A: $A=-A^T$，正交矩阵Q: $Q{Q}^T=I$

  复数域：厄米矩阵A: $A=A^H$，反厄米矩阵A: $A=-A^H$，酉矩阵U: $U{U}^H=I$

  注意实数域与复数域是对应的。

  当然不只有上面几种normal矩阵，利用分块的性质，我们还可以轻松地构造，例如下面的矩阵也是normal矩阵$$\left[\begin{array}{cc}Q& 0\\ 0& A\end{array}\right]$$

  normal矩阵的特殊之处在于，如果对normal矩阵进行4.2. 介绍的矩阵分解，我们得到的会是对角矩阵，即$U^{-1}NU=T=D$，下面简单证明。

证明：
$$\begin{array}{rl}T{T}^H& =U^{-1}NU\cdot U^H{N}^{H}U\\ & =U^{-1}N{N}^{H}U\\ & =U^{-1}{N}^{H}NU\\ & =U^H{N}^{H}U\cdot U^{H}NU\\ & =(U^{H}NU{)}^H\cdot U^{H}NU\\ & =T^{H}T\end{array}$$

  所以$T$也是normal矩阵，对于一个normal矩阵，如是上三角矩阵，一定也是对角矩阵。证毕。

4.4. 谱定理(spectral thorem)

  我了解谱定理是从矩阵分解的角度了解的，感觉不是很彻底，这部分可能问题较大，可以不看。
  谱定理是4.2的矩阵分解，针对实对称矩阵的特殊形式。实对称矩阵可以被分解成$Q\Lambda Q^T$，$\Lambda$是特征根对角矩阵(可重复)，$Q$是正交的特征向量方阵。

  注意谱定理$A=Q\Lambda Q^T$与特征值分解$A=S\Lambda S^{-1}$不同，特征值分解要求$S$列向量线性无关，谱定理要求$Q$列向量单位正交，注意线性无关不一定正交，例如$[1,1,0]$与$[1,0,0]$，两者线性无关但不正交。

  谱定理使用时，要像4.2.的证明那样求解。

4.5. Jordan标准型-最一般形式的最简型

  Jordan标准型曾被认为是线性代数的巅峰，但由于其在实际应用中不宜使用，且随后发明了强大的SVD分解，Jordan标准型逐渐的被边缘化，SVD成为线性代数的巅峰。

  在矩阵特征值分解中，我们要求待分解矩阵$A_{n\times n}$至少有n个线性无关的特征向量，如果A至多有s个线性无关特征向量，$s<n$，这样的矩阵称为有缺陷的矩阵(defective matrices)，但是这样的矩阵也可以用类似特征分解的方法分解到一个最简单形式，这个最简形式就是Jordan标准型。$$J=M^{-1}AM=\left[\begin{array}{cccc}{J}_1& & & \\ & \dots & & \\ & & & J_s\end{array}\right]$$

其中，$J_i,i=1\dots s$称为Jordan块$$J_i=\left[\begin{array}{cccccc}{\lambda }_i& 1& & & & \\ & {\lambda }_i& 1& & & \\ & & {\lambda }_i& & & \\ & & & \dots & 1& \\ & & & & {\lambda }_i& 1\\ & & & & & {\lambda }_i\end{array}\right]$$

在一个Jordan块中，有同样的特征值，对应同一个特征向量，不同的Jordan块对应不同的特征向量，但是不同的Jordan块可以有相同的特征值。可见对于一个有缺失的矩阵，其Jordan型会在每一个Jordan块的次对角线上放1。

  有相同的特征根的矩阵不一定相似，例如相似到下面的两个Jordan标准型的矩阵，特征值都为2。
$$\left[\begin{array}{cccccc}2& 1& & & & \\ & 2& 1& & & \\ & & 2& & & \\ & & & 2& 1& \\ & & & & 2& 1\\ & & & & & 2\end{array}\right]$$$$\left[\begin{array}{cccccc}2& 1& & & & \\ & 2& & & & \\ & & 2& 1& & \\ & & & 2& 1& \\ & & & & 2& 1\\ & & & & & 2\end{array}\right]$$

所以，可以说相似的矩阵可以化简到同一个Jordan标准型。

4.5.1. 应用

  和特征值分解类似，Jordan标准型也可以用于求解微分方程和差分方程。

$$\frac{du}{dt}=Au⟹u(t)=e^{At}u(0)=M{e}^{Jt}{M}^{-1}u(0)$$

$$u_{k+1}=A{u}_k⟹u_k=A^k{u}_o=M{J}^k{M}^{-1}{u}_0$$

这里需要计算$J$中Jordan块$J_i^k$，计算方法如下$$J_i={\lambda }_{i}I+N={\lambda }_i\left[\begin{array}{cccc}1& & & \\ & 1& & \\ & & 1& \\ & & & \dots \end{array}\right]+\left[\begin{array}{cccc}0& 1& & \\ & 0& 1& \\ & & 0& 1\\ & & & \dots \end{array}\right]$$

利用二项式定理展开$$J_i^k={\lambda }_i^{k}I+C_k^1{\lambda }_i^{k-1}N+C_k^2{\lambda }_i^{k-2}{N}^2$$

其中N以$N_{6\times 6}$为例，$$N_{6\times 6}=\left[\begin{array}{cccccc}0& 1& & & & \\ & 0& 1& & & \\ & & 0& 1& & \\ & & & 0& 1& \\ & & & & 0& 1\\ & & & & & 0\end{array}\right]$$

$N^2$等于次对角线移动到第三对角线
$$N_{6\times 6}^2=\left[\begin{array}{cccccc}0& 0& 1& & & \\ & 0& 0& 1& & \\ & & 0& 0& 1& \\ & & & 0& 0& 1\\ & & & & 0& 0\\ & & & & & 0\end{array}\right]$$

$N^3$等于次对角线移动到第四对角线
$$N_{6\times 6}^3=\left[\begin{array}{cccccc}0& 0& 0& 1& & \\ & 0& 0& 0& 1& \\ & & 0& 0& 0& 1\\ & & & 0& 0& 0\\ & & & & 0& 0\\ & & & & & 0\end{array}\right]$$

依次向上移动即可

  计算$e^{J_{i}t}$类似，利用泰勒展开$$e^{J_{i}t}=e^{({\lambda }_{i}I+N)t}=e^{{\lambda }_{i}It}{e}^{Nt}=e^{{\lambda }_{i}It}[I+tN+\frac{(tN{)}^2}{2!}+\dots ]$$

4.6. 涉及相似的矩阵分解

1. 矩阵$A$可对角化，且有n个独立的特征向量，则$S^{-1}AS=\Lambda$(特征值分解);
2. $A$是随意方阵，存在酉矩阵$U$，使得$U^{-1}AU=T$(相似分解的最一般形式);
3. $A$是normal矩阵，存在酉矩阵$U$，使得$U^{-1}AU=\Lambda$;
4. $A$是随意方阵，进行Jordan块对角化，$M^{-1}AM=J$(特征值分解的最一般性);