线性代数及其应用：经典矩阵特征值证明

前言

  这里记录一下一些经典矩阵的特征值证明，留作今后用。要证明的矩阵如下图所示，有些矩阵的特征向量也会一并推出。

  最左边列是矩阵的名称，中间一列是对应矩阵的特征值，最右边一列是特征向量或者特征向量满足的性质，这张图在《Linear algebra and its applications》中第五章最后。

---

实对称矩阵

$A^T=A$
$证明：设Ax=\lambda x，且\overline{A}=A，其中\overline{A}表示A的共轭$
$则(\overline{x}{)}^{T}Ax=(\overline{x}{)}^T\lambda x=\lambda (\overline{x}{)}^{T}x$
$(\overline{x}{)}^{T}Ax=(\overline{x}{)}^T{A}^{T}x=(A\overline{x}{)}^{T}x=(\overline{A}\overline{x}{)}^{T}x=(\overline{Ax}{)}^{T}x=(\overline{\lambda x}{)}^{T}x=(\overline{\lambda }\overline{x}{)}^{T}x=\overline{\lambda }(\overline{x}{)}^{T}x$
$因为特征向量不为0，所以(\overline{x}{)}^{T}x̸=0$
$所以\lambda =\overline{\lambda }$
$所以\lambda 是实数$

---

正交方阵

$Q^T=Q^{-1}$
$证明：设Qx=\lambda x$
$则(Qx{)}^T=(\lambda x{)}^T$
$即x^T{Q}^T=\lambda x^T$
$上式左乘到Qx=\lambda x$
$得到x^T{Q}^{T}Qx=\lambda x^T\lambda x$
$即x^{T}x=\lambda x^{T}x$
$因为特征向量不为0，所以x^{T}x̸=0$
$所以\lambda =\overline{\lambda }$
$所以\lambda 是实数$

---

实斜对称矩阵

$A^T=-A$
$证明：设Ax=\lambda x，且\overline{A}=A，其中\overline{A}表示A的共轭$
$则(\overline{x}{)}^{T}Ax=(\overline{x}{)}^T\lambda x=\lambda (\overline{x}{)}^{T}x$
$$\begin{gathered} (\overline{x}{)}^{T}Ax=-(\overline{x}{)}^T{A}^{T}x=-(A\overline{x}{)}^{T}x=-(\overline{A}\overline{x}{)}^{T}x=-(\overline{Ax}{)}^{T}x=-(\overline{\lambda x}{)}^{T}x \\ =-(\overline{\lambda }\overline{x}{)}^{T}x=-\overline{\lambda }(\overline{x}{)}^{T}x \end{gathered}$$
$因为特征向量不为0，所以(\overline{x}{)}^{T}x̸=0$
$所以\lambda =-\overline{\lambda }$
$所以\lambda 是虚数数$

---

厄米矩阵

$A^H=A$
$证明：设Ax=\lambda x$
$则x^{H}Ax=x^H\lambda x=\lambda x^{H}x$
$同时有(Ax{)}^H=(\lambda x{)}^H$
$则x^H{A}^H=\overline{\lambda }{x}^H$
$上式右乘以x得到x^H{A}^{H}x=\overline{\lambda }{x}^{H}x$
$由于x^{H}Ax=x^H{A}^{H}x$
$所以\lambda x^{H}x=\overline{\lambda }{x}^{H}x$
$因为特征向量不为0，所以x^{H}x̸=0$
$所以\lambda =\overline{\lambda }$
$所以\lambda 是实数$

---

正定矩阵

$x^{T}Ax>0，对所有非零实向量x均成立$
$证明：这里仅证明A是实对称情况$
$对A进行谱定理分解A=Q\Lambda Q^T，\Lambda 对角矩阵，对角线是{\lambda }_i，i=1\dots n$
${\lambda }_i是A的特征根$
$则x^{T}Ax=x^{T}Q\Lambda Q^{T}x=x^{T}Q\Lambda (x^{T}Q{)}^T$
$令x^{T}Q=y^T=[y_1,y_2,y_3\dots y_n]$
$则x^{T}Ax=y^T\Lambda y=\sum _{i=1}^n{\lambda }_i{y}_i^2>0$
$所以{\lambda }_i>0$

---

相似矩阵

$B=M^{-1}AM$
$证明：设Ax=\lambda x$
$由于A=MB{M}^{-1}$
$则Ax=MB{M}^{-1}x=\lambda x$
$所以B{M}^{-1}x=M^{-1}\lambda x=\lambda (M^{-1}x)$
$即B(M^{-1}x)=\lambda (M^{-1}x)$
$所以B的特征根和A一样，其特征向量为M^{-1}x$

---

投影矩阵

$P=P^2=P^T$
$证明：由于P=P^2，所以\lambda ={\lambda }^2$
$所以，\lambda =0,1$
$Px=0\cdot x=0，所以0对应的特征根在P的零空间$
$$\begin{gathered} Px=1\cdot x=x，P把x投影到x，即把x投影到自己，则x在P的列空间， \\ 所以1对应的特征根在P的列空间 \end{gathered}$$

---

反射矩阵

$I-2u{u}^T$
$证明：该反射矩阵的反射平面为u^{T}x=0，且u是单位列向量$
$设u^{\perp }为u的正交补，设列向量x\in u^{\perp }$
$则u^{T}x=0，由于矩阵[u^T]的零空间是n-1维，所以u^{\perp }是n-1维$
$又(I-2u{u}^T)u^{\perp }=u^{\perp }-2u(u^T{u}^{\perp })=u^{\perp }-0=u^{\perp }$
$所以1是I-2u{u}^T的n-1重特征根，对应特征向量在u^{\perp }中$
$又(I-2u{u}^T)\cdot u=u-2u(u^{T}u)=u-2u=-u$
$所以-1是I-2u{u}^T的特征根，对应特征向量是u$

---

Rank-1矩阵

$u，v为列向量，u,v\in R^n，u{v}^T称作rank-1矩阵$
$证明：u{v}^{T}u=(u{v}^T)u=u(v^{T}u)=(v^{T}u)u，这里要意识到v^{T}u是一个数$
$所以，u{v}^T的一个特征值是v^{T}u，对应特征向量是u$
$设v^{\perp }为v的正交补，设列向量x\in v^{\perp }$
$则v^{T}x=0，由于矩阵[v^T]的零空间是n-1维，所以v^{\perp }是n-1维$
$又u{v}^T{v}^{\perp }=u(v^T{v}^{\perp })=0$
$所以0是u{v}^T的n-1重特征根，对应特征向量在v^{\perp }中。$

---

逆矩阵

$A^{-1}$
$证明：设Ax=\lambda x，且A是可逆矩阵$
$则x=A^{-1}\lambda x$
$进一步推出{\lambda }^{-1}x=A^{-1}x$
$所以A^{-1}的特征根是\frac{1}{\lambda (A)}，其特征向量和A相同。$

---

矩阵线性变换

$A+cI$
$证明：设Ax=\lambda x$
$则(A+cI)x=Ax+cx=\lambda x+cx=(\lambda +c)x$
$所以A+cI的特征根是\lambda (A)+c，其特征向量和A相同。$

---

矩阵的n次方的稳定性

${\lim }_{n\to +\infty }{A}^n⟶0$
$证明：这里证明A可以进行特征值分解的情况，A=S\Lambda S^{-1}$
$A^n=S\Lambda S^{-1}\cdot S\Lambda S^{-1}\cdot S\Lambda S^{-1}\cdots =S{\Lambda }^n{S}^{-1}$
$假设\Lambda 有三个特征值{\lambda }_1，{\lambda }_2，{\lambda }_3(以三维为例)，即要求{\lim }_{n\to +\infty }{\Lambda }^n⟶0$
$${\Lambda }^n=\left[\begin{array}{ccc}{\lambda }_1^n& 0& 0\\ 0& {\lambda }_2^n& 0\\ 0& 0& {\lambda }_3^n\end{array}\right]$$
$所以要{\lim }_{n\to +\infty }{\Lambda }^n⟶0，即|{\lambda }_1|，|{\lambda }_2|，|{\lambda }_3|<1$

---

e的矩阵次方的稳定性

${\lim }_{t\to +\infty }{e}^{At}⟶0$
$证明：这里证明A可以进行特征值分解的情况，At=S\Lambda t{S}^{-1}$
$(At{)}^n=S\Lambda t{S}^{-1}\cdot S\Lambda t{S}^{-1}\cdot S\Lambda t{S}^{-1}\cdots =S{\Lambda }^n{t}^n{S}^{-1}$
$e^{At}=E+At+\frac{(At{)}^2}{2!}+\frac{(At{)}^3}{3!}+\frac{(At{)}^4}{4!}+\dots$
$=S{S}^{-1}+S\Lambda t{S}^{-1}+S\frac{(\Lambda t{)}^2}{2!}{S}^{-1}+S\frac{(\Lambda t{)}^3}{3!}{S}^{-1}+S\frac{(\Lambda t{)}^4}{4!}{S}^{-1}+\dots$
$=S(E+\Lambda t+\frac{(\Lambda t{)}^2}{2!}+\frac{(\Lambda t{)}^3}{3!}+\dots )S^{-1}$
$=S{e}^{\Lambda t}{S}^{-1}$
$假设\Lambda 有三个特征值{\lambda }_1，{\lambda }_2，{\lambda }_3(以三维为例)，即要求{\lim }_{t\to +\infty }{e}^{\Lambda t}⟶0$
$$e^{\Lambda t}=\left[\begin{array}{ccc}{e}^{{\lambda }_{1}t}& 0& 0\\ 0& e^{{\lambda }_{2}t}& 0\\ 0& 0& e^{{\lambda }_{3}t}\end{array}\right]\text{\hspace{1em}(3)}$$
$所以要{\lim }_{t\to +\infty }{e}^{\Lambda t}⟶0，即{\lambda }_1，{\lambda }_2，{\lambda }_3的实部小于0.$

---

马尔科夫矩阵

$m_{ij}>0,\sum _{i=1}^n{m}_{ij}=1$
$$\begin{gathered} 证明：在矩阵论中有一个结论，如果一个矩阵A是正矩阵(所有元素大于0)，则他的 \\ 最大特征值{\lambda }_1>其余特征值的绝对值|{\lambda }_i|,i̸=1， \\ 且{\lambda }_1对应的特征向量的所有元素也是正的(不知道这个数学家怎么想出来的0.0)。 \\ 所以只需证明稳定状态下马尔科夫矩阵特征值一定有1，且最大就是1. \end{gathered}$$
$先证明马尔科夫矩阵特征值一定含有1，以三阶马尔科夫矩阵A为例$
$$det(A-\lambda E)=\left|\begin{array}{ccc}{m}_{11}-\lambda & m_{12}& m_{13}\\ m_{21}& m_{22}-\lambda & m_{23}\\ m_{31}& m_{32}& m_{33}-\lambda \end{array}\right|\text{\hspace{1em}(3)}$$
$$=\left|\begin{array}{ccc}1-\lambda & 1-\lambda & 1-\lambda \\ m_{21}& m_{22}-\lambda & m_{23}\\ m_{31}& m_{32}& m_{33}-\lambda \end{array}\right|\text{\hspace{1em}(3)}$$
$$=(1-\lambda )\left|\begin{array}{ccc}1& 1& 1\\ m_{21}& m_{22}-\lambda & m_{23}\\ m_{31}& m_{32}& m_{33}-\lambda \end{array}\right|\text{\hspace{1em}(3)}$$
$所以1一定是Markov矩阵特征值$
$下面证明稳定状态Markov矩阵特征值不会超过1$
$$\begin{gathered} 根据A^n的稳定性要求，A的特征根|\lambda |⩽1(严格小于1，A^n趋向0， \\ 等于1，A^n中性稳定) \end{gathered}$$
$证毕$

---

循环置换

留空，遇到在回来补上

---

特征值分解

$A=S\Lambda S^{-1}$
$$\begin{gathered} 证明：对于可以进行特征值分解的方阵A，\Lambda 是个对角矩阵，且对角线上是特征根， \\ S的列向量是线性无关的特征向量。 \end{gathered}$$

---

谱定理

$A=Q\Lambda Q^{-1}$
$$\begin{gathered} 证明：对实对称矩阵A按照谱定理分解，\Lambda 是个对角矩阵，且对角线上是特征根， \\ S的列向量是相互正交的特征向量。 \end{gathered}$$

---

Jordan标准型

$J=MA{M}^{-1}$
$$\begin{gathered} 证明：对于任何一个矩阵A的Jordan标准型J，J对角线上的一个Jordan块对应 \\ 同一个特征向量和同一个特征根，且不同的Jordan块对应不同的特征向量，但可能 \\ 对应同一个特征根。 \end{gathered}$$

---

奇异值分解

$A=U\Sigma V^T$
$$\begin{gathered} 证明：对于任何矩阵A的SVD分解，A{A}^T与A^{T}A的特征根的平方根，保存在\Sigma 的 \\ 对角线上，U和V的列向量分别是A{A}^T与A^{T}A的特征向量。由于矩阵A，A^T，A^{T}A， \\ A{A}^T的秩是相同的，所以rank(A)=rank(A^{T}A)=rank(\Sigma )。 \end{gathered}$$