线性代数——特征值和特征向量

版权声明

本文大部分内容皆来自李永乐老师考研教材和视频课。

补充知识

求和公式的性质

• $$\sum _{i=1}^{n}k{a}_i=k\sum _{i=1}^n{a}_i$$
• $$\sum _{i=1}^n(a_i+b_i)=\sum _{i=1}^n{a}_i+\sum _{i=1}^n{b}_i$$
• $$\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}=\sum _{j=1}^n\sum _{i=1}^m{a}_{ij}$$

常用希腊字符读音

• $\alpha$：/ælfə/
• $\beta$：/betə/
• $\Gamma$、$\gamma$：/gama/
• $\Delta$、$\delta$：/deltə/
• $\epsilon$：/epsilon/
• $\upsilon$：/apsilon/
• $\theta$：/θitə/
• $\pi$：/paɪ/
• $\eta$：/ita/
• $\Lambda$、$\lambda$：/læmdə/
• $\mu$：/mju/
• $\xi$：/ksi/
• $\Sigma$、$\sigma$：/sigmə/
• $\tau$：/taʊ/
• $\Phi$、$\phi$：/faɪ/
• $\psi$：/psi/
• $\Omega$、$\omega$：/omiga/
• $\rho$：/ru:/

特征值和特征向量

设$A=[a_{ij}]$为一个$n$阶矩阵，如果存在一个数$\lambda$及非零的$n$维向量$\alpha$，使得
$$A\alpha =\lambda \alpha \text{\hspace{1em}①}$$
成立，则称$\lambda$是矩阵$A$的一个特征值，称非零向量$\alpha$是矩阵$A$属于特征值$\lambda$的一个特征向量。则行列式
∣ λ E − A ∣ = ∣ λ − a 11 − a 12 … − a 1 n − a 21 λ − a 22 … − a 2 n ⋮ ⋮ ⋮ − a n 1 − a n 2 … λ − a n n ∣ |\lambda E-A|= \begin{vmatrix} \lambda-a_{11}&-a_{12}&\dots&-a_{1n}\\ -a_{21}&\lambda-a_{22}&\dots&-a_{2n}\\ \vdots&\vdots&&\vdots\\ -a_{n1}&-a_{n2}&\dots&\lambda-a_{nn} \end{vmatrix} ∣λE−A∣= ​λ−a11​−a21​⋮−an1​​−a12​λ−a22​⋮−an2​​………​−a1n​−a2n​⋮λ−ann​​ ​
称为矩阵$A$的特征多项式，$|\lambda E-A|=0$称为$A$的特征方程。由①可知
$$(\lambda E-A)\alpha =O,\alpha \ne O\text{\hspace{1em}②}$$
即$\alpha$是方程②的非零解，那么求特征向量的步骤如下：

• （1）先由特征方程求出矩阵$A$的特征值$\lambda$，共$n$个。
• （2）再由②求基础解系，即矩阵$A$属于特征值${\lambda }_i$的线性无关的特征向量。

特征值的性质如下：

• 如果$\alpha$是矩阵$A$针对于特征值$\lambda$的特征向量，那么只要$k\ne 0$，则$k\alpha$仍是$A$针对于特征值$\lambda$的特征向量。
  证明：
  $$\begin{gathered} A\alpha =\lambda \alpha \\ A(k\alpha )=kA\alpha =k(\lambda \alpha )=\lambda (k\alpha ) \end{gathered}$$
• 如果${\alpha }_1,{\alpha }_2\dots ,{\alpha }_t$都是属于矩阵$A$的特征值$\lambda$的特征向量，那么当$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_t{\alpha }_t$非零时，$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_t{\alpha }_t$仍然是属于矩阵$A$的特征值$\lambda$的特征向量。
  证明：由$A{\alpha }_1=\lambda {\alpha }_1,A{\alpha }_2=\lambda {\alpha }_2$得：
  $$A(k_1{\alpha }_1+k_2{\alpha }_2)=k_{1}A{\alpha }_1+k_{2}A{\alpha }_2=k_1(\lambda {\alpha }_1)+k_2(\lambda {\alpha }_2)=\lambda (k_1{\alpha }_1+k_2{\alpha }_{2}2)$$
• 设$A$是$n$阶矩阵，${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$是矩阵$A$的特征值，则：
  $$\sum {\lambda }_i=\sum a_{ii},\prod {\lambda }_i=|A|$$
  证明：设三阶矩阵$A$，则有
  ∣ λ E − A ∣ = ∣ λ − a 11 − a 12 − a 13 − a 21 λ − a 22 − a 23 − a 31 − a 32 λ − a 33 ∣ = ∣ λ − a 12 − a 13 0 λ − a 22 − a 23 0 − a 32 λ − a 33 ∣ + ∣ − a 11 − a 12 − a 13 − a 21 λ − a 22 − a 23 − a 31 − a 32 λ − a 33 ∣ = ∣ λ 0 − a 13 0 λ − a 23 0 0 λ − a 33 ∣ + ∣ λ − a 12 − a 13 0 − a 22 − a 23 0 − a 32 λ − a 33 ∣ + ∣ − a 11 0 − a 13 − a 21 λ − a 23 − a 31 0 λ − a 33 ∣ + ∣ − a 11 − a 12 − a 13 − a 21 − a 22 − a 23 − a 31 − a 32 λ − a 33 ∣ … = λ 3 − ( a 11 + a 22 + a 33 ) λ 2 + S λ − ∣ A ∣ = ( λ − λ 1 ) ( λ − λ 2 ) ( λ − λ 3 ) |\lambda E-A|= \begin{vmatrix} \lambda-a_{11}&-a_{12}&-a_{13}\\ -a_{21}&\lambda-a_{22}&-a_{23}\\ -a_{31}&-a_{32}&\lambda-a_{33} \end{vmatrix}\\ = \begin{vmatrix} \lambda&-a_{12}&-a_{13}\\ 0&\lambda-a_{22}&-a_{23}\\ 0&-a_{32}&\lambda-a_{33} \end{vmatrix} {+} \begin{vmatrix} -a_{11}&-a_{12}&-a_{13}\\ -a_{21}&\lambda-a_{22}&-a_{23}\\ -a_{31}&-a_{32}&\lambda-a_{33} \end{vmatrix}\\ = \begin{vmatrix} \lambda&0&-a_{13}\\ 0&\lambda&-a_{23}\\ 0&0&\lambda-a_{33} \end{vmatrix} {+} \begin{vmatrix} \lambda&-a_{12}&-a_{13}\\ 0&-a_{22}&-a_{23}\\ 0&-a_{32}&\lambda-a_{33} \end{vmatrix} {+} \begin{vmatrix} -a_{11}&0&-a_{13}\\ -a_{21}&\lambda&-a_{23}\\ -a_{31}&0&\lambda-a_{33} \end{vmatrix} {+} \begin{vmatrix} -a_{11}&-a_{12}&-a_{13}\\ -a_{21}&-a_{22}&-a_{23}\\ -a_{31}&-a_{32}&\lambda-a_{33} \end{vmatrix}\\ \dots\\ =\lambda^3-(a_{11}+a_{22}+a_{33})\lambda^2+S\lambda-|A|\\ =(\lambda-\lambda_1)(\lambda-\lambda_2)(\lambda-\lambda_3) ∣λE−A∣= ​λ−a11​−a21​−a31​​−a12​λ−a22​−a32​​−a13​−a23​λ−a33​​ ​= ​λ00​−a12​λ−a22​−a32​​−a13​−a23​λ−a33​​ ​+ ​−a11​−a21​−a31​​−a12​λ−a22​−a32​​−a13​−a23​λ−a33​​ ​= ​λ00​0λ0​−a13​−a23​λ−a33​​ ​+ ​λ00​−a12​−a22​−a32​​−a13​−a23​λ−a33​​ ​+ ​−a11​−a21​−a31​​0λ0​−a13​−a23​λ−a33​​ ​+ ​−a11​−a21​−a31​​−a12​−a22​−a32​​−a13​−a23​λ−a33​​ ​…=λ3−(a11​+a22​+a33​)λ2+Sλ−∣A∣=(λ−λ1​)(λ−λ2​)(λ−λ3​)
  设特征方程的解为${\lambda }_1,{\lambda }_2,{\lambda }_3$，那么
  $$(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)(\lambda -{\lambda }_3)={\lambda }^3-({\lambda }_1+{\lambda }_2+{\lambda }_3){\lambda }^2+S\lambda -{\lambda }_1{\lambda }_2{\lambda }_3$$
  所以
  $$\sum {\lambda }_i=\sum a_{ii},\prod {\lambda }_i=|A|$$
  其中$S$为一次项的系数，不重要。
• 如果${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m$是矩阵$A$的互不相同的特征值，${\alpha }_1,{\alpha }_2\dots ,{\alpha }_m$分别是与之对应的特征向量，则${\alpha }_1,{\alpha }_2\dots ,{\alpha }_m$线性无关。
  证明：对特征值的个数$m$做数学归纳法，当$m=1$时，${\alpha }_1\ne O$，命题正确。设$m=k-1$时命题正确，当$m=k$时，设
  $$x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_{k-1}{\alpha }_{k-1}+x_k{\alpha }_k=O\text{\hspace{1em}①}$$
  用$A$左乘上式有
  $$x_1{\lambda }_1{\alpha }_1+x_2{\lambda }_2{\alpha }_2+\cdots +x_{k-1}{\lambda }_{k-1}{\alpha }_{k-1}+x_k{\lambda }_k{\alpha }_k=O\text{\hspace{1em}②}$$
  用${\lambda }_k$乘①得
  $$x_1{\lambda }_k{\alpha }_1+x_2{\lambda }_k{\alpha }_2+\cdots +x_{k-1}{\lambda }_k{\alpha }_{k-1}+x_k{\lambda }_k{\alpha }_k=O\text{\hspace{1em}③}$$
  ②$-$③得
  $$x_1({\lambda }_1-{\lambda }_k){\alpha }_1+x_2({\lambda }_2-{\lambda }_k){\alpha }_2+\cdots +x_{k-1}({\lambda }_{k-1}-{\lambda }_k){\alpha }_{k-1}=O$$
  由归纳假设结论得
  $$x_1=0,x_2=0,\dots ,x_{k-1}=0$$
  代入①得
  $$x_k{\alpha }_k=O$$
  所以$x_k=0$，因此${\alpha }_1,{\alpha }_2\dots ,{\alpha }_m$线性无关。
• 如果$A$是$n$阶矩阵，$\lambda$是$A$的$m$重特征值，则属于$\lambda$的线性无关的特征向量最多有$m$个。

相似矩阵

设$A,B$都是$n$阶矩阵，如果存在可逆矩阵$P$，使得
$$P^{-1}AP=B$$
则称矩阵$A$和$B$相似，记作$$A\sim B$$
相似矩阵的性质如下：

• $A\sim A$
• $A\sim B\iff B\sim A$
• $A\sim B,B\sim A\Rightarrow A\sim C$
  证明：设$$P_1^{-1}A{P}_1=B,P_2^{-1}B{P}_2=C$$则
  $$P_2^{-1}(P_1^{-1}A{P}_1)P_2=C$$
  令$P=P_1{P}_2$，有$P^{-1}=(P_1{P}_2{)}^{-1}=P_2^{-1}{P}_1^{-1}$所以$P^{-1}AP=C$。
• 如果$A\sim B$，那么
  • $A^2\sim B^2$
  • $A+kE\sim B+kE$
  • 如果$A$可逆，则$A^{-1}\sim B^{-1}$
• $A_1\sim B_1,A_2\sim B_2\Rightarrow \left[\begin{array}{cc}{A}_1& \\ & A_2\end{array}\right]\sim \left[\begin{array}{cc}{B}_1& \\ & B_2\end{array}\right]$
• $A\sim B\Rightarrow r(A)=r(B)$
  证明：
  $$r(B)=r(P^{-1}AP)=r(AP)=r(A)$$
• $A\sim B\Rightarrow |A|=|B|$
  证明：
  $$|B|=|P^{-1}AP|=|P^{-1}||A||P|=|A|$$
• $A\sim B\Rightarrow |\lambda E-A|=|\lambda E-B|$
  证明：
  $$|\lambda E-B|=|\lambda E-P^{-1}AP|=|P^{-1}(\lambda E-A)P|=|P^{-1}||\lambda E-A||P|=|\lambda E-A|$$

相似对角化

如果$A$能与对角矩阵相似，则称$A$可对角化。
$$\begin{gathered} P^{-1}AP=\Lambda \\ AP=P\Lambda \end{gathered}$$
假设$A$是三阶矩阵，对$P$按列分块：
A ( p 1 , p 2 , p 3 ) = ( p 1 , p 2 , p 3 ) [ λ 1 λ 2 λ 3 ] [ A p 1 , A p 2 , A p 3 ] = [ λ 1 p 1 , λ 2 p 2 , λ 3 p 3 ] ⇓ A p 1 = λ 1 p 1 , A p 2 = λ 2 p 2 , A p 3 = λ 3 p 3 A(p_1,p_2,p_3)=(p_1,p_2,p_3) \begin{bmatrix} \lambda_1&&\\ &\lambda_2&\\ &&\lambda_3\\ \end{bmatrix}\\ [Ap_1,Ap_2,Ap_3]=[\lambda_1p_1,\lambda_2p_2,\lambda_3p_3]\\ \Downarrow\\ Ap_1=\lambda_1p_1,Ap_2=\lambda_2p_2,Ap_3=\lambda_3p_3 A(p1​,p2​,p3​)=(p1​,p2​,p3​) ​λ1​​λ2​​λ3​​ ​[Ap1​,Ap2​,Ap3​]=[λ1​p1​,λ2​p2​,λ3​p3​]⇓Ap1​=λ1​p1​,Ap2​=λ2​p2​,Ap3​=λ3​p3​
那么：

• $A$的特征值：${\lambda }_1,{\lambda }_2,{\lambda }_3$
• $A$的特征向量：$p_1,p_2,p_3$

因为$P$可逆，所以$p_1,p_2,p_3$线性无关。反之，若$A$有$3$个无关的特征向量$p_1,p_2,p_3$，满足$A{p}_i={\lambda }_i{p}_i(i=1,2,3)$，则有
A ( p 1 , p 2 , p 3 ) = ( p 1 , p 2 , p 3 ) [ λ 1 λ 2 λ 3 ] A(p_1,p_2,p_3)=(p_1,p_2,p_3) \begin{bmatrix} \lambda_1&&\\ &\lambda_2&\\ &&\lambda_3\\ \end{bmatrix} A(p1​,p2​,p3​)=(p1​,p2​,p3​) ​λ1​​λ2​​λ3​​ ​
令 P = [ p 1 , p 2 , p 3 ] , Λ = [ λ 1 λ 2 λ 3 ] P=[p_1,p_2,p_3],\Lambda=\begin{bmatrix}\lambda_1&&\\&\lambda_2&\\&&\lambda_3\\\end{bmatrix} P=[p1​,p2​,p3​],Λ= ​λ1​​λ2​​λ3​​ ​，则
$$P^{-1}AP=\Lambda$$
矩阵对角化的性质如下：

• $n$阶矩阵$A$可对角化$\iff A$有$n$个线性无关的特征向量，且
  A ∼ [ λ 1 λ 2 ⋱ λ n ] A\thicksim \begin{bmatrix} \lambda_1&&&\\ &\lambda_2&&\\ &&\ddots&\\ &&&\lambda_n\\ \end{bmatrix} A∼ ​λ1​​λ2​​⋱​λn​​ ​
• $n$阶矩阵$A$可对角化$\iff$${\lambda }_i$是$A$的$n_i$重特征值，则${\lambda }_i$有$n_i$个线性无关的特征向量$\iff$秩$r(\lambda E-A)=n-n_i$，${\lambda }_i$为$n_i$重特征值。

实对称矩阵

满足以下两个条件的方阵称为实对称矩阵：

• $A=A^T$
• 矩阵的元素全为实数。

实对称矩阵的性质如下：

• 若矩阵$A$是实对称矩阵，则$A$的特征值都是实数。
  证明：设$A\alpha =\lambda \alpha$，则
  $$\begin{gathered} \overline{A\alpha }=\overline{\lambda \alpha } \\ \bar{A}\bar{\alpha }=\bar{\lambda }\bar{\alpha } \end{gathered}$$
  因为$A$是实对称矩阵，所以$\bar{A}=A$
  $$\begin{gathered} A\bar{\alpha }=\bar{\lambda }\bar{\alpha } \\ {\alpha }^{T}A\bar{\alpha }=\bar{\lambda }{\alpha }^T\bar{\alpha } \end{gathered}$$
  因为${\alpha }^{T}A\bar{\alpha }$与${\alpha }^T\bar{\alpha }$都是数，所以：
  $$\begin{gathered} {\alpha }^{T}A\bar{\alpha }=({\alpha }^{T}A\bar{\alpha }{)}^T=\lambda {\bar{\alpha }}^T\alpha =\lambda {\alpha }^T\bar{\alpha } \\ {\alpha }^T\bar{\alpha }=({\alpha }^T\bar{\alpha }{)}^T={\bar{\alpha }}^T\alpha \\ \Downarrow \\ (\lambda -\bar{\lambda }){\alpha }^T\bar{\alpha }=0 \end{gathered}$$
  因为$\alpha \ne O$，所以${\alpha }^T\bar{\alpha }>0$，因此$\lambda =\bar{\lambda }$
• 实对称矩阵$A$的不同特征值${\lambda }_1,{\lambda }_2$所对应的特征向量${\alpha }_1,{\alpha }_2$必正交。
  证明：由$A{\alpha }_1={\lambda }_1{\alpha }_2,A{\alpha }_2={\lambda }_2{\alpha }_2,{\lambda }_1={\lambda }_2$得：
  $$\begin{gathered} {\lambda }_1{\alpha }_2{\alpha }_1={\alpha }_1^{T}A{\alpha }_1={\alpha }_2^T{A}^T{\alpha }_1=(A{\alpha }_2{)}^T{\alpha }_1=({\lambda }_2{\alpha }_2{)}^T{\alpha }_1={\lambda }_2{\alpha }_2^T{\alpha }_1 \\ \Downarrow \\ ({\lambda }_1-{\lambda }_2){\alpha }_2^T{\alpha }_1=0 \end{gathered}$$
  因为${\lambda }_1\ne {\lambda }_2$，所以${\alpha }_2^T{\alpha }_1=0$
• $n$阶实对称矩阵$A$必可对角化，且总存在正交矩阵$Q$，使得
  Q − 1 A Q = Q T A Q = [ λ 1 λ 2 ⋱ λ n ] Q^{-1}AQ=Q^TAQ= \begin{bmatrix} \lambda_1&&&\\ &\lambda_2&&\\ &&\ddots&\\ &&&\lambda_n\\ \end{bmatrix} Q−1AQ=QTAQ= ​λ1​​λ2​​⋱​λn​​ ​
  其中${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$是$A$的特征值。
  证明：对$n$用数学归纳法，当$n=1$时，命题显然成立。假设$n-1$时命题成立，对于$n$阶矩阵$A$，设${\lambda }_1$是$A$的特征值，${\alpha }_1$是对应于${\lambda }_1$的单位特征向量，将${\alpha }_1$扩充为$R^n$的一组规范正交基：${\alpha }_1,{\alpha }_2\dots ,{\alpha }_n$，即$[{\alpha }_1,{\alpha }_2\dots ,{\alpha }_n]$是$n$阶正交矩阵。由$A{\alpha }_1={\lambda }_1{\alpha }_1$，并设
  $$\begin{gathered} A{\alpha }_2=b_{12}{\alpha }_1+b_{22}{\alpha }_2+\cdots +b_{n2}{\alpha }_n \\ \dots \\ A{\alpha }_n=b_{1n}{\alpha }_1+b_{2n}{\alpha }_2+\cdots +b_{nn}{\alpha }_n \end{gathered}$$