29相似矩阵和若尔当标准型

一、关于正定矩阵的一些补充

在此之前,先讲一下对称矩阵中那些特征值为正数的矩阵,这样特殊的矩阵称为正定矩阵。其更加学术的定义是:

S S S 是一个正定矩阵,如果对于每一个非零向量 x x x x T S x > 0 x^TSx>0 xTSx>0

  • 正定矩阵的逆仍然是正定矩阵
  • 两个正定矩阵的和仍然是正定矩阵
  • S = A A T S=AA^T S=AAT 是正定的条件是矩阵 A A A 的列是独立的

对于最后一个结论。矩阵 A A A 是一个 m × n m\times n m×n 普通的矩阵(有可能为长方形),那么对应的矩阵 A T A A^TA ATA 一定是对称矩阵。那么这样的 A T A A^TA ATA 是一个正定的吗?

A A T AA^T AAT
左乘 x T x^T xT,右乘 x x x
x T A T A x = ( A x ) T ( A x ) = ∣ A x ∣ 2 ≥ 0 x^TA^TAx=(Ax)^T(Ax)=|Ax|^2\ge0 xTATAx=(Ax)T(Ax)=Ax20
要保证它一定是正定, A x = 0 ( x ≠ 0 ) Ax = 0(x\ne\bold0) Ax=0(x=0) 需要剔除, 这是我们熟悉的,只要 A A A 列满秩就一定只有零解,该条件自然剔除。所以结论是:只要普通方阵列满秩, A A T AA^T AAT就一定是一个正定的对称矩阵

二、相似矩阵

对于 m × n m\times n m×n 矩阵: A A A B B B 是相似的,那么存在一些矩阵使得:
B = M − 1 A M B=M^{-1}AM B=M1AM
事实上,我们已经接触过一种比较特殊的相似矩阵。假设 A A A 具有线性无关的特征向量,也就是存在特征矩阵 S S S使得:
S − 1 A S = Λ S^{-1}AS=\Lambda S1AS=Λ
用这节课的新概念来看, 矩阵 A A A 与对角矩阵 Λ \Lambda Λ 相似,与对角矩阵相似是一个特别简洁的情况。举个例子:
A = [ 2 1 1 2 ] A=\begin{bmatrix}2&1\\1&2\end{bmatrix} A=[2112]
因为矩阵 A A A 是线性无关的,所以必然存在一个逆矩阵 S S S 使得:
S − 1 A S = Λ = [ 3 0 0 1 ] S^{-1}AS=\Lambda=\begin{bmatrix}3&0\\0&1\end{bmatrix} S1AS=Λ=[3001]
除了 S S S 很多其他可逆矩阵也可以使得:
M − 1 A M = B M^{-1}AM=B M1AM=B
不过矩阵没有这么特殊罢了。比如:
[ 1 − 4 0 1 ] [ 2 1 1 2 ] [ 1 4 1 0 ] = [ − 2 − 15 1 6 ] = B \begin{bmatrix}1&-4\\0&1\end{bmatrix}\begin{bmatrix}2&1\\1&2\end{bmatrix}\begin{bmatrix}1&4\\1&0\end{bmatrix}=\begin{bmatrix}-2&-15\\1&6\end{bmatrix}=B [1041][2112][1140]=[21156]=B
那么这两个矩阵 B B B Λ \Lambda Λ 的共同点是什么呢?它们的特征值相同! 相似矩阵具有相同的特征值 ! \color{red}相似矩阵具有相同的特征值! 相似矩阵具有相同的特征值!下面对这个结论进行证明:
A x = λ x   Ax=\lambda x\\\ Ax=λx 
A A A x x x之间插入一个 M − 1 M M^{-1}M M1M有:
A M M − 1 x = λ x AMM^{-1}x=\lambda x AMM1x=λx
然后左右两边再乘以 M − 1 M^{-1} M1有:
M − 1 A M M − 1 x = λ M − 1 x M^{-1}AMM^{-1}x=\lambda M^{-1} x M1AMM1x=λM1x
加上括号有:
( M − 1 A M ) M − 1 x = λ M − 1 x (M^{-1}AM)M^{-1}x=\lambda M^{-1} x (M1AM)M1x=λM1x
因为: B = M − 1 A M B=M^{-1}AM B=M1AM,所以:
B M − 1 x = λ M − 1 x BM^{-1}x=\lambda M^{-1}x BM1x=λM1x
M − 1 x M^{-1}x M1x 看成一个向量,显然 λ \lambda λ 是矩阵 B B B 的特征向量,故相似矩阵相同的特征值,但是特征向量却发生了改变,变成了 M − 1 x M^{-1}x M1x

接下来看一下特征值相同的矩阵,前面知识已知:如果特征值相同那么这个矩阵不可以进行对角化,这种情况是“不咋美丽”的情况,但是我们需要对其进行讨论:

假设我们的特征值 λ 1 = λ 2 = 4 \lambda_1=\lambda_2=4 λ1=λ2=4,特征值相同的矩阵可以分为两个阵营:

小阵营1:
[ 4 0 0 4 ] \begin{bmatrix}4&0\\0&4\end{bmatrix} [4004]
这个阵营的矩阵只与自己相似。

大阵营2:
[ 4 1 0 4 ] \begin{bmatrix}4&1\\0&4\end{bmatrix} [4014]
它是不能对角化的,因为如果可以对角化,那么就会相似于小阵营。上面的大阵营例子是一个若尔当标准型 (Jordan Form)。事实上,历史的某个时期,若尔当标准型还是压轴内容,现在不是了,最重要的一个原因就是一般的矩阵很难化简为若尔当标准型:条件特征值完全相等。还可以继续列举这样的矩阵:
[ 5 1 − 1 3 ] [ 4 0 17 4 ] \begin{bmatrix}5&1\\-1&3\end{bmatrix}\quad\begin{bmatrix}4&0\\17&4\end{bmatrix} [5113][41704]

再列举一个大一些的矩阵:
[ 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 ] \begin{bmatrix}0&1&0&0\\0&0&1&0\\0&0&0&0\\0&0&0&0\end{bmatrix} 0000100001000000
特征值全是零 λ 1 = λ 2 = λ 3 = λ 4 = 0 \lambda_1=\lambda_2=\lambda_3=\lambda_4=0 λ1=λ2=λ3=λ4=0,特征向量有几个?等于秩的个数 N ( A ) = 2 N(A)=2 N(A)=2,有两个特征向量“消失了”。

[ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ] \begin{bmatrix}0&1&0&0\\0&0&0&0\\0&0&0&1\\0&0&0&0\end{bmatrix} 0000100000000010
下面介绍一下若尔当块(Jordan block):
J i = [ λ i 1 0 0 λ i 1 0 0 λ i 1 ⋯ ⋯ ⋯ ⋯ ] J_i=\begin{bmatrix} \lambda_i&1&&&0\\ 0&\lambda_i&1&&\\ 0&0&\lambda_i&1&\\ \cdots&\cdots&\cdots&\cdots \end{bmatrix} Ji= λi001λi01λi10
对角线上都是相同的特征值 λ i \lambda_i λi 特征值右侧都是1,其他地方都是0。每个块都有一个特征向量,我们可以通过数若尔当块确定特征向量的个数。

若尔当定理(Jordan’s theorem):每个方阵 A A A 都相似于一个若尔当阵矩阵 J J J
J = [ J 1 J 2 J 3 ⋯ ] J=\begin{bmatrix}J1&&&&\\&J2\\&&J3\\&&&\cdots\end{bmatrix} J= J1J2J3
若尔当块个数等于特征向量个数。“如果一个矩阵可以对角化,那么这个矩阵相似于对角矩阵”,它是若尔当矩阵的一种特殊情况。最好情况就是对角矩阵。

你可能感兴趣的:(#,线性代数,线性代数,矩阵,机器学习)