【线性代数】矩阵的特征分解、特征值和特征向量(eigen-decomposition, eigen-value & eigen-vector)

就像我们可以通过质因数分解来发现整数的一些内在性质一样(12 = 2 x 2 x 3)，我们也可以通过分解矩阵来发现表示成数组元素时不明显的函数性质。

矩阵分解有种方式，常见的有

• 特征分解
• SVD 分解
• 三角分解

特征分解

特征分解是使用最广泛的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。方阵 A A 的特征向量(eigen vector)是指一个非零向量 v v ，这个向量与 A A 相乘后相当于对该向量进行放缩变换– 方向不变，只是大小成倍数的缩放：

Av=λv A v = λ v

, 标量 λ λ 被称为这个特征向量对应的特征值。更准确的说，这里的 v v 是 右奇异向量 (right singular vector), 相应的我们也可以定义 左奇异向量(left singular vector) vTA=λvT v T A = λ v T 。

如果 v v 是 A A 的特征向量，那么任何缩放后的 sv(s∈R,s≠0) s v ( s ∈ R , s ≠ 0 ) , 也是 A A 的特征向量，而且 v v 与 sv s v 具有相同的特值。基于以上原因，我们通常只考虑单位特征向量。

假设 矩阵 A A 有 n n 个线性无关特征向量 {v(1),…,v(n)} { v ( 1 ) , … , v ( n ) } ,对应着特征值 {λ1,…,λn} { λ 1 , … , λ n } . 我们将特征向量连接成一个矩阵，使得每一列是一个特征向量: V=[v(1),…,v(n)] V = [ v ( 1 ) , … , v ( n ) ] .类似地，我们也可以将特征值连接成一个向量 λ=[λ1,…,λn]T λ = [ λ 1 , … , λ n ] T ,因此 A A 的特征分解可以记做

A=Vdiag(λ)V−1 A = V diag ( λ ) V − 1

.

更进一步，每一个实对称矩阵都可以分解成实特征向量和实特征值

A=QΛQT A = Q Λ Q T

， 其中 Q Q 是 A A 的特征向量组成的正交矩阵， Λ Λ 是对应特征值构成的对角矩阵。按照惯例，我们一般按降序排列 Λ Λ 的条目。

一些规定，

• 所有特征值都是正数的矩阵被称为正定(positive definite), ∀λi>0 ∀ λ i > 0 , 一个优良性质 ifxTAx=0⇒x=0 if x T A x = 0 ⇒ x = 0
• 所有特征值都是非负数的矩阵被称为半正定(positive semidefinite), ∀λi≥0 ∀ λ i ≥ 0 . 一个优良性质, ∀x,xTAx≥0 ∀ x , x T A x ≥ 0
• 所有特征值都是负数的矩阵被称为 负定(negative definite)， ∀λi<0 ∀ λ i < 0
• 所有特征值都是非正数的矩阵被称为 半负定(negative semi-definite), ∀λi≤0 ∀ λ i ≤ 0

如何理解特征值和特征向量

如果把矩阵看做运动的表征，那么

• 特征向量就是运动的方向
• 特征值就是运动的速度

如果把矩阵看做空间的基底的组合，那么

如左图，矩阵 A A 有两个标准正交的特征向量 v(1),v(2) v ( 1 ) , v ( 2 ) , 图中蓝色单位圆代表所有的单位向量 u∈R2 u ∈ R 2 的集合；右图中，蓝色椭圆代表 Au A u 点的集合，即 A A 把所有的单位向量拉伸后的效果。

如何用特征值和特征向量解决具体问题？

优化方程求解

实对称矩阵的特征分解可以用于优化二次方程 f(x)=xTAx f ( x ) = x T A x ，其中限制 ∥x∥2=1 ‖ x ‖ 2 = 1 .当 x x 等于 A A 的某一个特征向量的时候， f f 会返回对应的特征值。在限制条件下，函数 f f 的最大值就是最大特征值，最小值就是最小特征值。

Ref

• 如何理解矩阵特征值？ - 马同学的回答 - 知乎
• 矩阵特征值和特征向量的几何意义 - 百度文库
• 特征值和特征向量