为什么非零实对称矩阵一定是正定矩阵

从酉相似的角度证明实对称矩阵一定可以对角化,对角化之后对应的二次型一定大于0,因此实对称矩阵一定是正定矩阵。
第一张图说明了一个方阵A必定酉相似于一个上三角矩阵T,T的对角线元素就是A的特征值。且这里可以无论特征值重复与否。
为什么非零实对称矩阵一定是正定矩阵_第1张图片
第二张图证明了对于正规矩阵(就是AA=AA,*表示共轭转置)的矩阵来讲,A必定可以酉对角化。
为什么非零实对称矩阵一定是正定矩阵_第2张图片

在第一张图中,如果限定实数矩阵范围,同样也成立,其实也就是矩阵化为行阶梯矩阵的高级表达。
在第二张图中,如果A是正规矩阵(实对称矩阵是正规矩阵的一种),则其相似的上三角矩阵也是正规矩阵,上三角矩阵是正规矩阵,则这个上三角矩阵就是一个对角矩阵(见铅字笔记)。

开始写了一大段发现自己不能给出实对称矩阵的代数重数为k的特征值对应有k个线性无关的特征向量的证明,不过写了好大一段不想删了,将就看吧。

一、实对称矩阵一定可以对角化

1.1 构造性证明与非构造性证明

数学证明方法可以分为构造性证明和非构造性证明,对于某个证明命题“存在 x x x,使得命题 F ( x ) F(x) F(x)成立”,构造性证明是提出一种如何构造 x x x的方法,即遵循该方法,一定可以找到一个 x x x满足命题 F ( x ) F(x) F(x),而非构造性证明,则从逻辑上证明 x x x一定存在,至于如何得到 x x x则不再关心。

1.2 什么是对角化

对于实对称矩阵一定可以对角化这一命题,我们可以采用构造性证明的方法。
首先说明什么是对角化,对于矩阵 A A A,如果存在可逆矩阵,满足 P − 1 A P = Λ P^{-1}AP=\Lambda P1AP=Λ,其中 Λ \Lambda Λ是对角矩阵,将 A A A变换得到对角矩阵 Λ \Lambda Λ这一过程就叫做对角化。满足 P − 1 A P = Λ P^{-1}AP=\Lambda P1AP=Λ条件的 A A A Λ \Lambda Λ矩阵其实就是满足 A A A Λ \Lambda Λ相似,只不过现在与A相似的 Λ \Lambda Λ是对角矩阵。

1.3 如何对角化一个对称矩阵

从1.2可以知道,将 A A A对角化就是需要找到一个可逆矩阵 P P P,使得 P − 1 A P = Λ P^{-1}AP=\Lambda P1AP=Λ。如果我们可以找到一种对所有对称矩阵通用的方法来找到可逆矩阵P,其实也就证明了所有实对称矩阵可以相似对角化。
我们只讨论其特征方程 ∣ A − λ E ∣ = 0 |A-λE|=0 AλE=0的情况,因为在 ∣ A − λ E ∣ ≠ 0 |A-λE|\neq0 AλE=0的情况下,不能进行对角化操作,见3.1
从3.1的推导中其实已经可以找到如何构造 P P P,就是将 P P P写成列向量分块矩阵。然后可以发现,求列向量 c o l i col_i coli和对角矩阵对角元的过程就是求解矩阵A的特征向量和特征值的过程。也就是说,将 A A A的特征向量作为 P P P的列向量,其实就可以构造出 P P P,但是 P P P需要满足可逆这一条件,也就是说 P P P的列向量需要线性无关。

定理1 λ 1 , λ 2 , . . . , λ m \lambda_1,\lambda_2,...,\lambda_m λ1,λ2,...,λm是方阵A的 m m m个特征值, p 1 , p 2 , . . . , p m p_1,p_2,...,p_m p1,p2,...,pm依次是与之对应的特征向量,如果 λ 1 , λ 2 , . . . , λ m \lambda_1,\lambda_2,...,\lambda_m λ1,λ2,...,λm 各不相等,则 p 1 , p 2 , . . . , p m p_1,p_2,...,p_m p1,p2,...,pm线性无关,证明见3.2

定理二 λ k \lambda_k λk是对称矩阵 A A A k k k重特征值,那么一定可以找到 k k k个对应于特征值 λ k \lambda_k λk的线性无关的特征向量证明见3.3

从定理一和定理二可以知道,对于对称矩阵,我们可以找出 n n n个线性无关的特征向量来构造 P P P。因为对应于不同特征值的特征向量线性无关,对应于同一特征值的特征向量可以得到对应重数个线性无关向量。因此总共有 n n n个线性无关的特征向量用于构造矩阵 P P P。最后将 A A A进行对角化。

二、实对称矩阵一定是正定矩阵

从前面我们可以知道实对称矩阵可以通过构造可逆矩阵P进行对角化,但是实对称矩阵

三、后注

3.1 特征方程只有零解的情况无法对角化

∣ A − λ E ∣ = 0 |A-λE|=0 AλE=0,也即(A-λE)x=0这一齐次方程只有零解(翻一翻线性代数书中齐次线性方程组零解非零解的条件,题外话:也就意味着矩阵A对于任何向量x进行变换都会改变其方向,从这个意义上来说,这个矩阵就不存在特征向量和特征值,因为特征向量的几何意义就是经过这个矩阵变换不改变方向的向量,零向量不存在方向,因此对于此类矩阵讲特征值和特征向量是没有意义的)。将前面的相似对角化矩阵 P − 1 A P = Λ P^{-1}AP=\Lambda P1AP=Λ可以变换成 A P = P Λ AP=P\Lambda AP=PΛ,将P写成列向量组合成的分块矩阵形式,\Lambda写成元素组合形式得到:
A [ c o l 1 , c o l 2 , . . . , c o l n ] = [ c o l 1 , c o l 2 , . . . , c o l n ] ( λ 1 λ 2 ⋱ λ n ) A[col_{1}, col_2,...,col_n]=[col_1,col_2,...,col_n]\left(\begin{array}{cccc} \lambda_{1} & & & \\ & \lambda_{2} & & \\ & & \ddots & \\ & & & \\ & & & \lambda_{n} \end{array}\right) A[col1,col2,...,coln]=[col1,col2,...,coln]λ1λ2λn
$$ [ A c o l 1 , A c o l 2 , . . . , A c o l n ] = [ λ 1 c o l 1 , λ 2 c o l 2 , . . . , λ n c o l n ] [Acol_1,Acol_2,...,Acol_n]=[\lambda_1col_1, \lambda_2col_2,...,\lambda_ncol_n] [Acol1,Acol2,...,Acoln]=[λ1col1,λ2col2,...,λncoln]
即有 A c o l i = λ i c o l i Acol_i=\lambda_icol_i Acoli=λicoli,由于 A A A不存在特征值和特征向量,对于 A c o l i = λ i c o l i Acol_i=\lambda_icol_i Acoli=λicoli只有零解,因此 c o l i = 0 col_i=\bold{0} coli=0零向量。因此P为零矩阵。而零矩阵不存在逆矩阵,与前面的逆矩阵使用矛盾,因此当矩阵A的特征方程只有零解时,不能进行对角化。

3.2 定理一的证明

定理1 λ 1 , λ 2 , . . . , λ m \lambda_1,\lambda_2,...,\lambda_m λ1,λ2,...,λm是方阵A的 m m m个特征值, p 1 , p 2 , . . . , p m p_1,p_2,...,p_m p1,p2,...,pm依次是与之对应的特征向量,如果 λ 1 , λ 2 , . . . , λ m \lambda_1,\lambda_2,...,\lambda_m λ1,λ2,...,λm 各不相等,则 p 1 , p 2 , . . . , p m p_1,p_2,...,p_m p1,p2,...,pm线性无关,证明见3.2
证明出处见同济大学出版的工程数学线性代数第六版P123
为什么非零实对称矩阵一定是正定矩阵_第3张图片

3.3 定理二的证明

定理二 λ k \lambda_k λk是对称矩阵 A A A k k k重特征值,那么对应于 λ k \lambda_k λk的特征向量构成的向量组的秩为 k k k证明见3.3

你可能感兴趣的:(机器学习,矩阵,线性代数,算法)