AI笔记: 数学基础之特征值与特征向量

特征值和特征向量

• A为n阶矩阵，若数$\lambda$和n维非0列向量x满足$Ax=\lambda x$, 那么数$\lambda$称为A的特征值，x称为A的对应于特征值$\lambda$的特征向量。并且$|\lambda E-A|$叫做A的特征多项式。
• 当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。
• $Ax=\lambda x\Rightarrow Ax=\lambda Ex\Rightarrow (\lambda E-A)x=0$
• $|\lambda E-A|=\left|\begin{array}{cccc}\lambda -a_{11}& -a_{12}& \cdots & -a_{1n}\\ -a_{21}& \lambda -a_{22}& \cdots & -a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ -a_{n1}& -a_{n2}& \cdots & \lambda -a_{nn}\end{array}\right|$
• 设$\alpha$ 是矩阵A的属性特征值${\lambda }_0$的特征向量，则对任意常数$k\ne 0,k\alpha$ 也是A的属于${\lambda }_0$的特征向量
• 若$\alpha ,\beta$都是A的属于特征值${\lambda }_0$的特征向量，则$k\alpha +l\beta$ (k,l不全为零) 也是A的属于${\lambda }_0$的特征向量

特征值和特征向量求解

例1

• 求$A=\left(\begin{array}{cc}3& -1\\ -1& 3\end{array}\right)$的特征值和特征向量
• 分析
  • A的特征多项式为：$|A-\lambda E|=\left|\begin{array}{cc}3-\lambda & -1\\ -1& 3-\lambda \end{array}\right|=(3-\lambda {)}^2-1=8-6\lambda +{\lambda }^2=(4-\lambda )(2-\lambda )$
  • 令$|A-\lambda E|=0$ 得A的特征值为：${\lambda }_1=2,{\lambda }_2=4$
  • 当${\lambda }_1=2$时，对应的特征向量应满足：
  • $\left(\begin{array}{cc}3-2& -1\\ -1& 3-2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$
  • 即：$\{\begin{array}{c}{x}_1-x_2=0\\ -x_1+x_2=0\end{array}$
  • 解得：$x_1=x_2$, 所以对应的特征向量可取为：$p_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$
  • 当${\lambda }_2=4$时，由
  • $\left(\begin{array}{cc}3-4& -1\\ -1& 3-4\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$
  • 即：$\left(\begin{array}{cc}-1& -1\\ -1& -1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$
  • 解得：$x_1=-x_2$, 所以对应的特征向量可取为：$p_2=\left(\begin{array}{c}-1\\ 1\end{array}\right)$
  • 得对应于特征值的全部特征向量为：$c_1{p}_1,c_2{p}_2(c_1{c}_2\ne 0)$

例2

• 求矩阵$A=\left(\begin{array}{ccc}-1& 1& 0\\ -4& 3& 0\\ 1& 0& 2\end{array}\right)$的特征值和特征向量
• 分析
  • A的特征多项式为：$|A-\lambda E|=\left|\begin{array}{ccc}-1-\lambda & 1& 0\\ -4& 3-\lambda & 0\\ 1& 0& 2-\lambda \end{array}\right|=(2-\lambda )(1-\lambda {)}^2$
  • 令$|A-\lambda E|=0$ 得A的特征值为：${\lambda }_1=2,{\lambda }_2={\lambda }_3=1$
  • 当${\lambda }_1=2$时，解方程$(A-2E)x=0$
  • 由：$A-2E=\left(\begin{array}{ccc}-3& 1& 0\\ -4& 1& 0\\ 1& 0& 0\end{array}\right)\sim \left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right)$
  • 得基础解系：$p_1=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right)$
  • 所以$k_1{p}_1(k_1\ne =0)$是对应于${\lambda }_1=2$的全部特征向量
  • 当${\lambda }_2={\lambda }_3=1$时，解方程$(A-E)x=0$
  • 由：$A-E=\left(\begin{array}{ccc}-2& 1& 0\\ -4& 2& 0\\ 1& 0& 1\end{array}\right)\sim \left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 2\\ 0& 0& 0\end{array}\right)$
  • 得基础解系: $p_2=\left(\begin{array}{c}-1\\ -2\\ 1\end{array}\right)$
  • 所以$k_2{p}_2(k_2\ne 0)$ 是对应于 ${\lambda }_2={\lambda }_3=1$的全部特征向量

例3

• 设 $A=\left(\begin{array}{ccc}-2& 1& 1\\ 0& 2& 0\\ -4& 1& 3\end{array}\right)$, 求A的特征值与特征向量
• 分析
  • $|A-\lambda E|=\left|\begin{array}{ccc}-2-\lambda & 1& 1\\ 0& 2-\lambda & 0\\ -4& 1& 3-\lambda \end{array}\right|=-(\lambda +1)(\lambda -2{)}^2$
  • 令 $-(\lambda +1)(\lambda -2{)}^2=0$
  • 得A的特征值为：${\lambda }_1=-1,{\lambda }_2={\lambda }_3=2$
  • 当${\lambda }_1=-1$时，解方程 $(A+E)x=0$.
  • 由 $A+E=\left(\begin{array}{ccc}-1& 1& 1\\ 0& 3& 0\\ -4& 1& 4\end{array}\right)\sim \left(\begin{array}{ccc}1& 0& -1\\ 0& 1& 0\\ 0& 0& 0\end{array}\right)$
  • 得基础解系 $p_1=\left(\begin{array}{c}1\\ 0\\ 1\end{array}\right)$
  • 故对应于${\lambda }_1=-1$的全体特征向量为：$k_1{p}_1(k_1\ne 0)$
  • 当${\lambda }_2={\lambda }_3=2$时，解方程$(A-2E)x=0$
  • 由：$A-2E=\left(\begin{array}{ccc}-4& 1& 1\\ 0& 0& 0\\ -4& 1& 1\end{array}\right)\sim \left(\begin{array}{ccc}-4& 1& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$
  • 得基础解系为：$p_2=\left(\begin{array}{c}0\\ 1\\ -1\end{array}\right),p_3=\left(\begin{array}{c}1\\ 0\\ 4\end{array}\right)$
  • 所以对应于${\lambda }_2={\lambda }_3=2$的全部特征向量为：$k_2{p}_2+k_3{p}_3$ ($k_2,k_3$)不同时为0

特征值的性质

• n阶方阵$A=(a_{ij})$的所有特征根 ${\lambda }_1、{\lambda }_2...{\lambda }_n$，则有
• ${\lambda }_1+{\lambda }_2+...+{\lambda }_n={\sum }_{i=1}^n{a}_{ii}{\lambda }_1{\lambda }_2...{\lambda }_{n}j=|A|$
• 若$\lambda$是可逆矩阵A的一个特征根，x为对应的特征向量
  • 则$\frac{1}{\lambda }$是矩阵$A^{-1}$的一个特征根，x仍为对应的特征向量。
  • 则${\lambda }^m$是矩阵$A^m$的一个特征根，x仍为对应的特征向量
• 设${\lambda }_1,{\lambda }_2...{\lambda }_n$是方阵A的互不相同的特征值，$x_i$是${\lambda }_i$的特征向量，则$x_1,x_2...x_n$线性无关，即不相同特征值的特征向量线性无关

可对角化矩阵

• 如果一个n阶方阵A相似于对角矩阵，也就是，如果存在一个可逆矩阵P使得$P^{-1}$AP是对角矩阵，则称矩阵A为可对角化矩阵，并且最终对角矩阵的特征值就是矩阵A的特征值。$P^{-1}AP=A$
• 可逆矩阵P实际上就是A的全部特征向量按列构成的矩阵。
• 矩阵对角化在PCA(主成分分析)、白化(去相关性)等机器学习领域应用的比较多。
• 对于矩阵是否可以对角化，判断如下：
  • (1) 由$|A-\lambda E|=0\Rightarrow$ 求出所有的特征值${\lambda }_i$
  • (2) 若所有的特征值都是单根，则A一定能对角化
  • (3) 若A的特征值有重根，则对每个${\lambda }_i$,求齐次方程组$(A-{\lambda }_{i}E)X=0$的基础解系，如果基础解析所含向量的个数等于${\lambda }_i$的重根数或等于$n-R(A-{\lambda }_{i}E)$, 则A可以对角化且这些基础解析排成的矩阵为相似变换矩阵

例1

• 设 $A=\left(\begin{array}{ccc}4& 6& 0\\ -3& -5& 0\\ -3& -6& 1\end{array}\right)$, A能否对角化? 若能对角化，则求出可逆矩阵P, 使$P^{-1}AP$为对角阵
• 分析
  • $|A-\lambda E|=\left|\begin{array}{ccc}4-\lambda & 6& 0\\ -3& -5-\lambda & 0\\ -3& -6& 1-\lambda \end{array}\right|=-(\lambda -1{)}^2(\lambda +2)$
  • 所以A的全部特征值为：${\lambda }_1={\lambda }_2=1,{\lambda }_3=-2$
  • 将${\lambda }_1={\lambda }_2=1$ 代入 $(A-\lambda E)x=0$ 得方程组 $\{\begin{array}{c}-3x_1+6x_2=0\\ -3x_1-6x_2=0\\ -3x_1-6x_2=0\end{array}$
  • 解之得基础解系 ${\xi }_1=\left(\begin{array}{c}-2\\ 1\\ 0\end{array}\right),{\xi }_2=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right),$
  • 将${\lambda }_3=-2$ 代入 $(A-\lambda E)x=0$, 得方程组的基础解系：${\xi }_3=(-1,1,1{)}^T$
  • 由于${\xi }_1,{\xi }_2,{\xi }_3$线性无关，所以A可对角化.
  • 令$P({\xi }_1,{\xi }_2,{\xi }_3)=\left(\begin{array}{ccc}-2& 0& -1\\ 1& 0& 1\\ 0& 1& 1\end{array}\right)$
  • 则有：$P^{-1}AP=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -2\end{array}\right)$
  • 注意：
    • 令$P=({\xi }_1,{\xi }_2,{\xi }_3)=\left(\begin{array}{ccc}-1& 0& -2\\ 1& 0& 1\\ 1& 1& 0\end{array}\right)$
    • 则有 $P^{-1}AP=\left(\begin{array}{ccc}-2& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$
    • 即矩阵P的列向量和对角矩阵中国特征值的位置要相互对应

正定矩阵

• 对于n阶方阵A，若任意n阶向量x, 都有$x^{T}Ax>0$, 则称矩阵A为正定矩阵
• 若$x^{T}Ax\ge 0$, 则矩阵A为半正定矩阵

奇异矩阵

• 若方阵A的行列式的值等于0，那么方阵A叫做奇异矩阵，否则叫做非奇异矩阵
• 可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵
• 若A为奇异矩阵，则Ax = 0有无穷解，Ax=b 有无穷解或无解
• 若A为非奇异矩阵，则Ax=0有且只有唯一零解，Ax=b有唯一解