矩阵分析一子空间和特征分解

线性方程组Ax=b的行视图是超平面，列视图是列向量的线性组合。从这个视角，将矩阵与向量组联系起来了。

5.1 线性相关、线性无关

定义：给定向量组A： a1,a2,...,am a 1 , a 2 , . . . , a m ，如果存在不全为零的数 k1,k2,,...,km k 1 , k 2 , , . . . , k m ，使得 k1a1+k2a2+...+kmam=0 k 1 a 1 + k 2 a 2 + . . . + k m a m = 0 ，则称向量组A是线性相关的，否则称为线性无关的。

定理：向量组 A:ai,i=1,...,m A : a i , i = 1 , . . . , m 线性相关 ⇔ ⇔ Ax=0有非零解 ⇔ ⇔ R(A)<m R ( A ) < m ;

向量组 A:ai,i=1,...,m A : a i , i = 1 , . . . , m 线性无关 ⇔ ⇔ Ax=0有唯一解，即零解 ⇔ ⇔ R(A)=m R ( A ) = m ;

向量组的秩等于其最大线性无关向量组中向量个数。

定理：矩阵的秩等于它的列向量组的秩。

定理：如果n维向量组a1,…,ar是一组两两正交的非零向量，那么a1,…,ar线性无关。

定理7：设 A∈Rm×n A ∈ R m × n 的秩 R(A)=r R ( A ) = r ，则n元齐次线性方程组 Ax=0 A x = 0 的解集S的秩 R(S)=n−r R ( S ) = n − r 。解集中任意n-r个线性无关解都可构成它的基础解系。

5.2 span，基，子空间

向量组 A:ai,i=1,...,N,ai∈Rm A : a i , i = 1 , . . . , N , a i ∈ R m 线性无关，则可以构成一个子空间S

S=span[a1,...,aN]={y∈Rm|y=∑Ni=1kiai} S = s p a n [ a 1 , . . . , a N ] = { y ∈ R m | y = ∑ i = 1 N k i a i }

向量组A称为子空间S的一组基。如果向量组A两两正交（ aTiaj=0 a i T a j = 0 ），则称为正交基，如果向量 ai a i 为单位向量，则称为规范正交基。

子空间的基有很多，但是基的秩（即向量个数）是不变的，称为子空间的维度。

从子空间定义可知，子空间一定包含原点（全为0的向量）。

5.2.1 四个基本子空间

1. 列空间 column space

列空间也称为值域或span，用C(A)表示，其中 A∈Rm×n A ∈ R m × n ，其定义为所有列向量的线性组合即

C(A)={y|y=Ax,x∈Rm} C ( A ) = { y | y = A x , x ∈ R m } , C(A)是 Rm R m 的子空间。

2. 零空间 null space

零空间N(A)定义为Ax=0的所有解构成的集合。N(A)是 Rn R n 的子空间。

N(A)={x|Ax=0} N ( A ) = { x | A x = 0 }

3. 行空间 row space

行空间是所有行的线性组合，表示为 C(AT)∈Rn C ( A T ) ∈ R n ,是 Rn R n 的子空间

4. 左零空间 left null space

N(AT)={y|yA=0}={y|ATy=0} N ( A T ) = { y | y A = 0 } = { y | A T y = 0 } ,是 Rm R m 的子空间。

5.2.2 四个子空间的关系

对于 A∈Rm×n A ∈ R m × n ，四个子空间的关系可以用下图来表示：

可以看到，行空间和零空间正交，行空间和零空间共同组成 Rn R n 空间，行空间和零空间正交互补；列空间和左零空间正交，列空间和左零空间共同组成 Rm R m 空间，列空间和左零空间正交互补。

正交证明：假定y1,y2分别来自行空间和零空间，根据定义有：

y1=ATx,Ay2=0 y 1 = A T x , A y 2 = 0

则 yT1y2=xAy2=0 y 1 T y 2 = x A y 2 = 0 , y1,y2 y 1 , y 2 正交。

5.2.3 从子空间角度重新看线性方程组

对于线性方程组Ax=b，其解的形式为x=p+v,其中p为特解（Ap=b），v为零解（Av=0）。

若 b∈C(A),N(A) b ∈ C ( A ) , N ( A ) 维度为0,那么方程只有唯一解，p

若 b∈C(A),N(A) b ∈ C ( A ) , N ( A ) 维度大于0，那么方程有无穷多解

若 b∉C(A) b ∉ C ( A ) ，方程无解

5.2.4 方阵的特征分解

5.2.4.1 特征值、特征向量

Ax=λx A x = λ x 的几何意义：

Ax A x 是指对向量x进行了旋转。当x为A的特征向量时，旋转后的向量与原向量共线，其缩放倍数为特征值 λ λ 。

为求特征值：

(A−λI)x=0 ( A − λ I ) x = 0 有非0解，则 det(A−λI)=0 d e t ( A − λ I ) = 0 ，这个方程称为矩阵A的特征方程。

特征方程在复数范围内恒有解，解得个数等于方程的次数，因此，n阶矩阵在复数范围内有n个特征值。

设n阶矩阵A=(aij)的特征值为 λ1,...,λn λ 1 , . . . , λ n ,则：

• ∑nλi=∑naii ∑ n λ i = ∑ n a i i
• ∏nλi=det(A) ∏ n λ i = d e t ( A )

λ λ 是方阵A的特征值，则 λ2 λ 2 是 A2 A 2 的特征值， λk λ k 是 Ak A k 的特征值 , ψ(λ) ψ ( λ ) 是 ψ(A) ψ ( A ) 的特征值 ,如果A可逆，则 1/λ 1 / λ 是 A−1 A − 1 的特征值。

定理： 设 λ1,...,λn λ 1 , . . . , λ n 是方阵A的n个特征值， p1,...,pn p 1 , . . . , p n 为对应的特征向量，如果特征值各不相同，则特征向量线性无关。

5.2.4.2 相似矩阵和对角化

相似矩阵定义： 设A，B都是n阶矩阵，若存在可逆矩阵P，使得 P−1AP=B P − 1 A P = B ，则称B是A的相似矩阵。

定理： 若n阶矩阵A，B相似，则A，B的特征多项式相同，特征值相同。

推论：若n阶矩阵A与对角阵 Λ=(λ1,...,λn) Λ = ( λ 1 , . . . , λ n ) 相似， 则A的特征值为 λ1,...,λn λ 1 , . . . , λ n

对角化：对于n阶矩阵，寻求相似变换矩阵P，使得 P−1AP=Λ P − 1 A P = Λ 的过程成为把A对角化。

定理 : n阶矩阵A可对角化 ⇔ ⇔ A有n个线性无关的特征向量 ⇐ ⇐ A的n个特征值互不相同。

如果A有重特征值时，如果能找到对应的线性无关特征向量，则A也可以对角化。重点在于线性无关的特征向量。

5.2.4.3 对称矩阵的对角化

定理：对称阵的特征值为实数。

因此，对称阵的特征值大小可以进行排序。

定理 ：设 λ1,λ2 λ 1 , λ 2 是对称阵A的两个特征值， p1,p2 p 1 , p 2 是对应的特征向量，若 λ1≠λ2 λ 1 ≠ λ 2 ，则 p1,p2 p 1 , p 2 正交。

定理：A为n阶对称阵，则必有**正交阵**P，使得其对角化，即 P−1AP=PTAP=Λ P − 1 A P = P T A P = Λ

定理：对称阵的k重特征值可以求得k个线性无关特征向量。

由以上定理可知，对于一个对称阵，无论其特征值相同或不同，都可以找到线性无关的特征向量，且可以得到两两正交的单位特征向量。即( PPT=PTP=I P P T = P T P = I ，P为特征向量组成的正交阵)

因此，

A=PΛPT=∑ni=1λipipTi A = P Λ P T = ∑ i = 1 n λ i p i p i T ，

这就是对称矩阵的特征分解 ，从上式可以看到，特征值较小的项可以略掉。这就是降维的思想。

对任意矩阵A， rank(ATA)=rank(AAT)=rank(A) r a n k ( A T A ) = r a n k ( A A T ) = r a n k ( A ) ,当A为对称阵时， rank(A)=rank(Λ) r a n k ( A ) = r a n k ( Λ )

证明：若x满足Ax=0，则它也满足 ATAx=0 A T A x = 0 ，若x满足 ATAx=0 A T A x = 0 ,则 xTATAx=0⇒(Ax)T(Ax)=0⇒Ax=0 x T A T A x = 0 ⇒ ( A x ) T ( A x ) = 0 ⇒ A x = 0 ，因此 Ax=0,ATAx=0 A x = 0 , A T A x = 0 同解。假设解集的秩为s，则 R(ATA)=n−s=R(A) R ( A T A ) = n − s = R ( A ) ，得证。

对于任意x, xTATAx=(Ax)T(Ax)≥0 x T A T A x = ( A x ) T ( A x ) ≥ 0 , 因此， ATA,AAT A T A , A A T 都是半正定的。

5.2.4.4 特征分解和子空间的关系

对于对阵矩阵A，如果 rank(A)=r≤n r a n k ( A ) = r ≤ n ，则A有r个非零特征值，(n-r)个零特征值。（可以由 R(A)=R(Λ R ( A ) = R ( Λ 得到）

可以将特征向量写成分块形式 P=[P1,P2] P = [ P 1 , P 2 ] 其中，P1对应非零特征值的特征向量，P2对应零特征值的特征向量。那么：列空间 C(A)={y|y=Ax,x∈Rm} C ( A ) = { y | y = A x , x ∈ R m } 可以表示为：

Ax=[P1,P2][Λ100Λ2][PT1PT2]x=[P1,P2][Λ100Λ2][C1C2]=[P1,P2][Λ1C1Λ2C2]=P1(Λ1C1)+P2(Λ2C2)=P1(Λ1C1) A x = [ P 1 , P 2 ] [ Λ 1 0 0 Λ 2 ] [ P 1 T P 2 T ] x = [ P 1 , P 2 ] [ Λ 1 0 0 Λ 2 ] [ C 1 C 2 ] = [ P 1 , P 2 ] [ Λ 1 C 1 Λ 2 C 2 ] = P 1 ( Λ 1 C 1 ) + P 2 ( Λ 2 C 2 ) = P 1 ( Λ 1 C 1 )

上式是特征向量P1的线性组合，因此 C(A)=C(P1) C ( A ) = C ( P 1 ) ,因此，P1是C(A)的正交基。

上式还可以表示为： Ax=P1Λ1PT1x A x = P 1 Λ 1 P 1 T x , 对于零空间， Ax=0⇒P1Λ1PT1x=0 A x = 0 ⇒ P 1 Λ 1 P 1 T x = 0 ，由对称矩阵特征向量正交性可知， P2 P 2 属于零空间。且零空间维度为n-r， P2 P 2 的秩也是n-r，因此，P2是N(A)的正交基。