29相似矩阵和若尔当标准型

一、关于正定矩阵的一些补充

在此之前，先讲一下对称矩阵中那些特征值为正数的矩阵，这样特殊的矩阵称为正定矩阵。其更加学术的定义是：

$S$ 是一个正定矩阵，如果对于每一个非零向量$x$，$x^{T}Sx>0$

• 正定矩阵的逆仍然是正定矩阵
• 两个正定矩阵的和仍然是正定矩阵
• $S=A{A}^T$ 是正定的条件是矩阵 $A$ 的列是独立的

对于最后一个结论。矩阵 $A$ 是一个 $m\times n$ 普通的矩阵（有可能为长方形），那么对应的矩阵 $A^{T}A$ 一定是对称矩阵。那么这样的 $A^{T}A$ 是一个正定的吗？

$$A{A}^T$$
左乘$x^T$，右乘 $x$
$$x^T{A}^{T}Ax=(Ax{)}^T(Ax)=|Ax{|}^2\ge 0$$
要保证它一定是正定，$Ax=0(x\ne 0)$ 需要剔除， 这是我们熟悉的，只要 $A$ 列满秩就一定只有零解，该条件自然剔除。所以结论是：只要普通方阵列满秩，$A{A}^T$就一定是一个正定的对称矩阵。

二、相似矩阵

对于$m\times n$ 矩阵：$A$ 和 $B$ 是相似的，那么存在一些矩阵使得：
$$B=M^{-1}AM$$
事实上，我们已经接触过一种比较特殊的相似矩阵。假设 $A$ 具有线性无关的特征向量，也就是存在特征矩阵 $S$使得：
$$S^{-1}AS=\Lambda$$
用这节课的新概念来看， 矩阵 $A$ 与对角矩阵 $\Lambda$ 相似，与对角矩阵相似是一个特别简洁的情况。举个例子：
$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$
因为矩阵 $A$ 是线性无关的，所以必然存在一个逆矩阵 $S$ 使得：
$$S^{-1}AS=\Lambda =\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$$
除了 $S$ 很多其他可逆矩阵也可以使得：
$$M^{-1}AM=B$$
不过矩阵没有这么特殊罢了。比如：
$$\left[\begin{array}{cc}1& -4\\ 0& 1\end{array}\right]\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{cc}1& 4\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}-2& -15\\ 1& 6\end{array}\right]=B$$
那么这两个矩阵 $B$ 和 $\Lambda$ 的共同点是什么呢？它们的特征值相同！$相似矩阵具有相同的特征值!$下面对这个结论进行证明：
$$Ax=\lambda x$$
在 $A$ 和 $x$之间插入一个 $M^{-1}M$有：
$$AM{M}^{-1}x=\lambda x$$
然后左右两边再乘以 $M^{-1}$有：
$$M^{-1}AM{M}^{-1}x=\lambda M^{-1}x$$
加上括号有：
$$(M^{-1}AM)M^{-1}x=\lambda M^{-1}x$$
因为：$B=M^{-1}AM$，所以：
$$B{M}^{-1}x=\lambda M^{-1}x$$
把$M^{-1}x$ 看成一个向量，显然 $\lambda$ 是矩阵 $B$ 的特征向量，故相似矩阵相同的特征值，但是特征向量却发生了改变，变成了$M^{-1}x$

接下来看一下特征值相同的矩阵，前面知识已知：如果特征值相同那么这个矩阵不可以进行对角化，这种情况是“不咋美丽”的情况，但是我们需要对其进行讨论：

假设我们的特征值 ${\lambda }_1={\lambda }_2=4$，特征值相同的矩阵可以分为两个阵营：

小阵营1：
$$\left[\begin{array}{cc}4& 0\\ 0& 4\end{array}\right]$$
这个阵营的矩阵只与自己相似。

大阵营2：
$$\left[\begin{array}{cc}4& 1\\ 0& 4\end{array}\right]$$
它是不能对角化的，因为如果可以对角化，那么就会相似于小阵营。上面的大阵营例子是一个若尔当标准型 （Jordan Form）。事实上，历史的某个时期，若尔当标准型还是压轴内容，现在不是了，最重要的一个原因就是一般的矩阵很难化简为若尔当标准型：条件特征值完全相等。还可以继续列举这样的矩阵：
$$\left[\begin{array}{cc}5& 1\\ -1& 3\end{array}\right]\left[\begin{array}{cc}4& 0\\ 17& 4\end{array}\right]$$

再列举一个大一些的矩阵：
[ 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 ] \begin{bmatrix}0&1&0&0\\0&0&1&0\\0&0&0&0\\0&0&0&0\end{bmatrix} ​0000​1000​0100​0000​ ​
特征值全是零 ${\lambda }_1={\lambda }_2={\lambda }_3={\lambda }_4=0$，特征向量有几个？等于秩的个数 $N(A)=2$，有两个特征向量“消失了”。

[ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ] \begin{bmatrix}0&1&0&0\\0&0&0&0\\0&0&0&1\\0&0&0&0\end{bmatrix} ​0000​1000​0000​0010​ ​
下面介绍一下若尔当块（Jordan block）：
J i = [ λ i 1 0 0 λ i 1 0 0 λ i 1 ⋯ ⋯ ⋯ ⋯ ] J_i=\begin{bmatrix} \lambda_i&1&&&0\\ 0&\lambda_i&1&&\\ 0&0&\lambda_i&1&\\ \cdots&\cdots&\cdots&\cdots \end{bmatrix} Ji​= ​λi​00⋯​1λi​0⋯​1λi​⋯​1⋯​0​ ​
对角线上都是相同的特征值 ${\lambda }_i$ 特征值右侧都是1，其他地方都是0。每个块都有一个特征向量，我们可以通过数若尔当块确定特征向量的个数。

若尔当定理（Jordan’s theorem）：每个方阵 $A$ 都相似于一个若尔当阵矩阵 $J$
J = [ J 1 J 2 J 3 ⋯ ] J=\begin{bmatrix}J1&&&&\\&J2\\&&J3\\&&&\cdots\end{bmatrix} J= ​J1​J2​J3​⋯​ ​
若尔当块个数等于特征向量个数。“如果一个矩阵可以对角化，那么这个矩阵相似于对角矩阵”，它是若尔当矩阵的一种特殊情况。最好情况就是对角矩阵。