线性代数学习笔记（四）：矩阵的理解之— 矩阵的特征值与特征向量

线性代数学习笔记（四）：

矩阵的理解之— 矩阵的特征值与特征向量

一、特征值与特征向量

从前面我们已经知道矩阵可理解为线性空间中的线性变换。
那么对空间中一个元素-向量$\alpha$做线性变换$\to$就可表示为$M\alpha$。

1.1. 直观理解

如下图，二维线性空间中的一个矩形元素集合，对其线性变换得到的矩形长度是原来2倍。

• 观察这个元素集合中的元素发现：
  1）沿x轴的某向量${\alpha }_1$，经过线性变换后：$M\alpha =2\ast {\alpha }_1$；
  2）沿y轴的某向量${\alpha }_2$，经过线性变换后：$M\alpha =1\ast {\alpha }_2$；
  3）除此之外的其他所有向量${\alpha }_3$，经过线性变换后： $M\alpha \ne \lambda \ast \alpha$。
  发现：
  1）一个矩阵乘一个向量等于一个数乘这个向量。
  2）而在一个线性空间和线性变换中，具有这种特征的向量是少数的。
  

1.2. 定义

把满足上述等式$M\alpha ={\lambda }_i\alpha$中的，
${\lambda }_i$称作特征值（本征值），$\alpha$称作特征向量（特征向量）且规定$\alpha \ne 0$。
其中，${\lambda }_i$和$\alpha$是依托于矩阵$M$产生的。
一个线性变换对应与一组特征值和特征向量。

二、特征向量与子空间

2.1. 性质1

2.1.1 直观理解

如下图所示三维空间下的线性变换$M$，使得：
${\alpha }_1=(001{)}^T，{\lambda }_1=2$，
${\alpha }_2=(100{)}^T，{\lambda }_2=1$，
${\alpha }_3=(010{)}^T，{\lambda }_3=1$(${\alpha }_1、{\alpha }_2、{\alpha }_3$线性无关)。
对具有相同本征值的向量${\alpha }_2、{\alpha }_3$(${\lambda }_2={\lambda }_3=\lambda$)为基：${\alpha }_2、{\alpha }_3$线性无关，构成一个二维的线性子空间。
那么子空间上任一向量$k{\alpha }_2+l{\alpha }_3$的特征值是否也是$\lambda$？

2.1.2 性质1及证明

属于相同$\lambda$的特征向量构成一个子空间。

• -证明：
  n维空间M，存在${\alpha }_1、{\alpha }_2、...、{\alpha }_s$有相同的特征值。
  （${\alpha }_1、{\alpha }_2、...、{\alpha }_s$线性无关）
  $M(k_1{\alpha }_1+k_2{\alpha }_2+...+k_s{\alpha }_s)$
  $=k_1(M{\alpha }_1)+k_2(M{\alpha }_2)+...+k_s(M{\alpha }_s)$
  $=k_1(\lambda {\alpha }_1)+k_2(\lambda {\alpha }_2)+...+k_s(\lambda {\alpha }_s)$
  $=\lambda (k_1{\alpha }_1+k_2{\alpha }_2+...+k_s{\alpha }_s)$
  满足$M\alpha ={\lambda }_i\alpha$。

2.2. 性质2

2.2.1 直观理解

一个线性变换矩阵$M$作用到一线性空间上，会把空间中所有向量分成几组，包括：从属于特征值为${\lambda }_1$的子空间、从属于特征值为${\lambda }_2$的子空间、…、从属于特征值为${\lambda }_n$的子空间。

如下图，三维空间由一个二维子空间和一个一维子空间“加和”得到。其中，二维子空间：由x、y轴构成的特征值为1的子空间；一维子空间：由z轴构成的特征值为2的子空间。

2.2.2. 性质2及证明

属于不同${\lambda }_i$的特征向量${\alpha }_i$线性无关。

• -证明:（反证）
  假设线性相关，则发现与定义规定$\alpha \ne 0$矛盾。
  
  
  上述两个性质也就说明：
  线性变换矩阵$M$将线性空间划分，每个本征值确定划分下的一个子空间。所以本征值是个很重要的概念。
  知道了本征值和本征值对应子空间的维数能就能很好的描述这是一个怎样的线性变换。

相似矩阵具有相同的特征值，且每个特征值对应子空间的维数相同。

三、特征值多项式

3.1. 特征多项式

特征值怎么求？
也即是$M\alpha ={\lambda }_i\alpha$的求解。
等式右侧乘单位矩阵：$M\alpha ={\lambda }_{i}I\alpha$，
移项得：$({\lambda }_{i}I-M)\alpha =0$（$\alpha \ne 0$）
定义一种新的线性变换$M_{新}=({\lambda }_{i}I-M)，则M_{新}\alpha =0$。
也就是说$M_{新}$这种线性变换作用在n维线性空间中，至少使得某一维度上的所有向量都缩变成$0$，那么变换后得到的线性空间维度至少减少一维。这种变换导致的后果是不可逆的。
（就像三维空间到xy轴的投影，这个变换使得z轴上所有向量都变成0，空间维度成2，变换前后体积之比是0！）
所以得到：$det({\lambda }_{i}I-M)=0$，解得${\lambda }_i$。

• 特征多项式定义：

$det({\lambda }_{i}I-M)$称为矩阵$M$的特征多项式。

3.2. 特征多项式的意义

3.2.1. 直观理解

已经知道了$det(M)$的物理意义：线性变换前后微元的体积之比。同样的意义， $det(M)$的值也等于此线性空间下所有特征值的乘积。这样的结论使得$det(M)$的计算更方便。

• -eg：
  
  还是前面的一个例子，对三维空间进行线性变换$M$后，根据体积变换，得到$det(M)=\frac{V2}{V1}=2$。
  而三个维度特征值分别是${\lambda }_z=2、{\lambda }_x={\lambda }_y=1$，发现${\lambda }_z\ast {\lambda }_x\ast {\lambda }_y=2=det(M)$。

3.2.2. 定理及证明

$det(M)={\lambda }_1\ast {\lambda }_2\ast ...\ast {\lambda }_n$。

• 证明：
  （1）首先证明相似矩阵的特征多项式一样。
  若M~N，则$det({\lambda }_{i}I-M)=det({\lambda }_{i}I-N)$。
  （2）选矩阵N为特殊对角矩阵：特征值恰在对角线上。
  $det(N)=det({\lambda }_{i}I-N)=$
  
  $det(N)=det({\lambda }_{i}I-M)=$
  
  去负号，得到$det(M)={\lambda }_1\ast {\lambda }_2\ast ...\ast {\lambda }_n$。

四、矩阵的秩与行列式

详见：
线性代数学习笔记（三）：矩阵的理解之— 矩阵的秩与行列式

五、线性代数核心定理

详见：线性代数学习笔记（五）：矩阵的理解之— 线性代数核心定理

六、线性空间和线性变换的理解

详见：线性代数学习笔记（一）：线性空间的理解

详见：线性代数学习笔记（二）：线性变换的理解