线性代数笔记7：特征向量

特征值和特征向量在机器学习中有着很重要的应用，本文介绍一些相关的结论和证明，方便大家复习参考。

定义

特征向量与特征值

定义：对方阵 A A ，若存在 λ λ 和非零向量 x x ，满足 Ax=λx A x = λ x ，则称 λ λ 为矩阵 A A 的特征值（eigenvalue）， x x 为 A A 属于特征值 λ λ 的特征向量（eigenvector）

Ax=λx⇒(A−λI)x=0 A x = λ x ⇒ ( A − λ I ) x = 0

因此，我们可以认为满足这个方程的 x∈N(A−λI) x ∈ N ( A − λ I ) ，也就是说， x x 属于这个零空间。

我们知道，对于任意的 λ λ ，向量 x x 总满足 Ax=λx A x = λ x ，但我们关心的是由非零向量 x x 满足此方程的特殊的 λ λ 值。

因此， 不难得到以下推论：

N(A−λI)含非零向量⇔A−λ不可逆⇔det(A−λI)=0 N ( A − λ I ) 含 非 零 向 量 ⇔ A − λ 不 可 逆 ⇔ d e t ( A − λ I ) = 0

特征方程

我们记 det(A−λI)=0 d e t ( A − λ I ) = 0 为矩阵 A A 的特征方程（characteristic equation）， A A 的特征值就是特征方程的解。

从直观理解上看，由于矩阵的乘法实际上是对向量进行坐标旋转变换，而 Ax=λx A x = λ x 表示了一种特殊的向量，它使得左乘 A A 后的向量依然与 x x 共线。

求解方法

1. 计算特征多项式 det(A−λI) d e t ( A − λ I ) 。
2. 求特征方程 det(A−λI)=0 d e t ( A − λ I ) = 0 的解，即为特征值。
3. 对每个特征值 λ λ ，求解其次线性方程组 (A−λI)x=0 ( A − λ I ) x = 0 ，其所有非零解即为属于 λ λ 的所有特征向量。

性质

1. 矩阵 A A 不可逆 ⇔A ⇔ A 有零特征值。

2. 实对称矩阵的特征向量两两正交。

   Ax1=λ1x1Ax2=λ2x2 A x 1 = λ 1 x 1 A x 2 = λ 2 x 2
   xT2Ax1=λ1xT2x1⇒(Ax2)Tx1=λ1xT2x1 x 2 T A x 1 = λ 1 x 2 T x 1 ⇒ ( A x 2 ) T x 1 = λ 1 x 2 T x 1
   λ2xT2x1=λ1xT2x1 λ 2 x 2 T x 1 = λ 1 x 2 T x 1
   (λ1−λ2)xT2x1=0⇒xT2x1=0 ( λ 1 − λ 2 ) x 2 T x 1 = 0 ⇒ x 2 T x 1 = 0

3. 投影矩阵的特征值为0和1。

   P​ P ​ 是到子空间 V⊂Rn​ V ⊂ R n ​ 的投影矩阵，其中 p=Pb,b∈V​ p = P b , b ∈ V ​

   若 b∈V b ∈ V ，则 Pb=b P b = b

   若 b⊥V b ⊥ V ，则 Pb=0 P b = 0

4. 反射矩阵 R=I−2uuT R = I − 2 u u T 的特征值是1和-1。

   若 v⊥u v ⊥ u ，则 Rv=v R v = v

   若 v//u v / / u ，则 Rv=−v R v = − v

5. 上（下）三角矩阵的特征值为所有的对角元。

6. Markov矩阵A一定有特征值1。

   由于Markov矩阵的列项之和为1，那么每一列减去1，列项之和就变成0，一次你各行之间线性相关。即

   (A−I)T⎛⎝⎜⎜⎜11...1⎞⎠⎟⎟⎟=0 ( A − I ) T ( 1 1 . . . 1 ) = 0

   因此 λ=1 λ = 1 。

7. 由代数学基本定理，任何复系数一元n次多项式方程在复数域上至少有一根(n≥1)，由此推出，n次复系数多项式方程在复数域内有且只有n个根（重根按重数计算），并且，虚根一定成对出现。

8. 若 λ λ 是矩阵 A A 的特征值，则 λ2 λ 2 是 A2 A 2 的特征值， λ+m λ + m 是 A+mI A + m I 的特征值。

9. 设 p(x) p ( x ) 是关于 x x 的多项式函数，则 p(λ) p ( λ ) 是矩阵 p(A) p ( A ) 的一个特征值。

10. 若 A A 可逆，则 1λ 1 λ 为 A−1 A − 1 的一个特征值。

    Ax=λx⇒x=A−1Ax=A−1λx=λA−1x A x = λ x ⇒ x = A − 1 A x = A − 1 λ x = λ A − 1 x
    A−1x=1λx A − 1 x = 1 λ x

11. 设 n n 阶矩阵 A=(aij) A = ( a i j ) 有 n n 个特征值，可能重复，则

    λ1+...+λn=a11+a22+...+ann=trA λ 1 + . . . + λ n = a 11 + a 22 + . . . + a n n = t r A
    λ1...λn=det(A) λ 1 . . . λ n = d e t ( A )

​

参考资料

1. 马尔科夫矩阵 矩阵的特征值和特征向量
2. 行列式的本质