矩阵对角化那些事

所有矩阵都可以对角化吗?

前几天某好友同学, 参加了某度算法岗的面试, 问了很多问题, 其中就有这么一个基础数学的问题: 所有矩阵都可以对角化吗?

实际上, 我立马就可以想出一个反例:

$$A=\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right].$$

A 矩阵不可以对角化, 因为:

• 求特征值
  显然特征值为

$${\lambda }_1={\lambda }_2=1.$$

• 求对应的特征向量

$${\mathrm{x}}_1={\mathrm{x}}_2=k\left[\begin{array}{c}1\\ 0\end{array}\right].$$

其特征向量线性相关, 即 $A$ 不可对角化, 所以 并不是所有的矩阵都可以对角化

上述矩阵 $A$ 是最小的若尔当块.

---

矩阵对角化

矩阵对角化是什么?

可对角化矩阵 是线性代数 和矩阵论 中重要的一类矩阵. 如果一个方块矩阵 $A$ 相似于对角矩阵, 也就是说: 如果存在一个可逆矩阵 $P$ 使得 $P^{-1}AP$ 是对角矩阵，则它就被称为可对角化的.

记 $n$ 阶方阵 $A$ 的特征值为(可能存在相同的特征指)

$$\lambda =\{{\lambda }_1,\dots ,{\lambda }_n\}.$$

以及线性无关的特征向量

$$S=[{\mathrm{x}}_1,\dots ,{\mathrm{x}}_n].$$

其中 ${\mathrm{x}}_i$ 为列向量. 则

$$\begin{array}{rl}AS& =[A{\mathrm{x}}_1,\dots ,A{\mathrm{x}}_n]\\ & =[{\lambda }_1{\mathrm{x}}_1,\dots ,{\lambda }_n{\mathrm{x}}_n]\\ & =[{\mathrm{x}}_1,\dots ,{\mathrm{x}}_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\\ & =S\Lambda .\end{array}$$

根据上式, 即得到一种矩阵分解

$$A=SA{S}^{-1}.$$

---

可对角化条件

我们已经知道, 并不是所有的矩阵都可以对角化, 那么矩阵 可对角化需要满足哪些条件呢?

• 特征向量
  所有特征向量线性无关

• 特征值

  • 若矩阵的特征值各不相同, 则矩阵一定可以对角化;
  • 若矩阵存在某特征值的重数大于 1, 矩阵则有可能可以对角化.

• 空间
  全空间 $V$ 可表示为各特征子空间的直和

课本上有一系列等价条件, 此处不再枚举.

实际上, 若尔当标准型理论可以完美解释对角化问题, 此处也不多介绍, 之后会专门说一说.

---

有趣的应用

以下内容的前提条件都是: 矩阵满足可对角化

矩阵的幂 $A^n$

首先, 因为 $A=S\Lambda S^{-1}$, 所以

$$A^n=S\Lambda S^{-1}\cdot S\Lambda S^{-1}\cdots S\Lambda S^{-1}=S{\Lambda }^n{S}^{-1}.$$

其中,

$${\Lambda }^n=\left[\begin{array}{cccc}{\lambda }_1^n& 0& \cdots & 0\\ & & & \\ 0& {\lambda }_2^n& \cdots & 0\\ & & & \\ ⋮& ⋮& \ddots & ⋮\\ & & & \\ 0& 0& \cdots & {\lambda }_n^n\end{array}\right]$$

以上是利用特征值计算矩阵幂的方法, 而且可以得到: 矩阵的 $n$ 次方后, 特征值相应地变为 $n$ 次方, 而特征向量不变.

其次, 因为 $A\mathrm{x}=\lambda \mathrm{x}$, 所以

$$A^2\mathrm{x}=A\lambda \mathrm{x}=\lambda A\mathrm{x}={\lambda }^2\mathrm{x}.$$

递推可得 $$A^n\mathrm{x}={\lambda }^n\mathrm{x}$$

由上式同样得到: 矩阵的 $n$ 次方后, 特征值相应地变为 $n$ 次方, 而特征向量保持不变.

差分方程 $u_{k+1}=A{u}_k$

假设 $u_2=A{u}_1$, 由递推 $u_{k+1}=A{u}_k$ 可得 $u_{k+1}=A^k{u}_1$, 那么, 已知 $n$ 阶方阵 $A,u_1$, 如何计算 $u_{k+1}$ ?

因为已知 $A$ 可对角化, 所以矩阵 $A$ 的特征向量线性无关, $S=\{{\mathrm{x}}_1,\dots ,{\mathrm{x}}_n\}$ 可构成全空间 $V$ 的一组基, 则 $u_1$ 可表示为:

$$\begin{array}{rl}{u}_1& =c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2+\cdots +c_n{\mathrm{x}}_n\\ & =S\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]=Sc.\end{array}$$

继而,

$$\begin{array}{rl}{u}_2& =A{u}_1=c_{1}A{\mathrm{x}}_1+c_{2}A{\mathrm{x}}_2+\cdots +c_{n}A{\mathrm{x}}_n\\ & =c_1{\lambda }_1{\mathrm{x}}_1+c_2{\lambda }_2{\mathrm{x}}_2+\cdots +c_n{\lambda }_n{\mathrm{x}}_n\\ & =[{\mathrm{x}}_1,\dots ,{\mathrm{x}}_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]\\ & =S\Lambda c.\end{array}$$

另外, 上述结果同样由以下矩阵形式得到

$$u_2=A{u}_1=S\Lambda S^{-1}Sc=S\Lambda c.$$

递推, 就可以得到

$$u_{k+1}=A^k{u}_1=S{\Lambda }^{k}c.(\ast )$$

该公式可用于以下 生兔子问题

斐波那契数列 (Fibonacci sequence)

数列 $F=\{0,1,1,2,3,5,\dots \}$, 即满足如下递推式 $$F_n=F_{n-1}+F_{n-2}.$$
试求 $F_n$ 的表达式.

设 $u_1=\left[\begin{array}{c}{F}_2\\ F_1\end{array}\right]$, 则

$$u_2=\left[\begin{array}{c}{F}_3\\ F_2\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{F}_2\\ F_1\end{array}\right]=A{u}_1.$$

计算矩阵 $A$ 的特征值和特征向量:
特征多项式

$$\left|\lambda I-A\right|=\left|\begin{array}{cc}\lambda -1& -1\\ & \\ -1& \lambda \end{array}\right|={\lambda }^2-\lambda -1.$$

从而得到

$${\lambda }_1=\frac{1+\sqrt{5}}{2}$$

对应的特征向量 ${\mathrm{x}}_1=[{\lambda }_1,1{]}^{\mathsf{T}}$.

$${\lambda }_2=\frac{1-\sqrt{5}}{2}$$

对应的特征向量 ${\mathrm{x}}_2=[{\lambda }_2,1{]}^{\mathsf{T}}$.

计算特征向量可由观察得到:

$$\lambda I-A=\left[\begin{array}{cc}\lambda -1& -1\\ -1& \lambda \end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]=0$$

因为 ${\lambda }^2-\lambda -1=0$, 所以

$$\{\begin{array}{l}a=\lambda ,\\ b=1.\end{array}$$

所以 $$S=\left[\begin{array}{cc}{\mathrm{x}}_1& {\mathrm{x}}_2\end{array}\right]=\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ 1& 1\end{array}\right]$$.

继而,

$$\begin{array}{rl}{u}_1=\left[\begin{array}{c}1\\ 0\end{array}\right]& =c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2\\ & =c_1\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right]+c_2\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right].\end{array}$$

解得

$$\{\begin{array}{l}{c}_1=\frac{1}{{\lambda }_1-{\lambda }_2},\\ c_2=-c_1.\end{array}$$

带入 $(\ast )$ 式

$$\begin{array}{rl}u\_n=S{\Lambda }^{n-1}c& =\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ 1& 1\end{array}\right]\left[\begin{array}{cc}{\lambda }_1^{n-1}& 0\\ 0& {\lambda }_2^{n-1}\end{array}\right]\left[\begin{array}{c}\frac{1}{{\lambda }_1-{\lambda }_2}\\ -\frac{1}{{\lambda }_1-{\lambda }_2}\end{array}\right]\\ & =\frac{1}{{\lambda }_1-{\lambda }_2}\left[\begin{array}{c}{\lambda }_1^n-{\lambda }_2^n\\ {\lambda }_1^{n-1}-{\lambda }_2^{n-1}\end{array}\right]\end{array}$$

所以,

$$F_n=\frac{{\lambda }_1^{n-1}-{\lambda }_2^{n-1}}{{\lambda }_1-{\lambda }_2}.$$

指数矩阵 $e^{At}$

你能证明 $e^{At}=S{e}^{\Lambda t}{S}^{-1}$ 吗?
其中,

$$e^{\Lambda t}=\left[\begin{array}{cccc}{\mathrm{e}}^{{\lambda }_1\mathrm{t}}& 0& \cdots & 0\\ & & & \\ 0& {\mathrm{e}}^{{\lambda }_2\mathrm{t}}& \cdots & 0\\ & & & \\ ⋮& ⋮& \ddots & ⋮\\ & & & \\ 0& 0& \cdots & {\mathrm{e}}^{{\lambda }_n\mathrm{t}}\end{array}\right]$$

原文链接: matnoble.me/posts/diag/