矩阵论（三）：矩阵分解—从Schur分解、特征值分解EVD到奇异值分解SVD（上）

矩阵论专栏：专栏（文章按照顺序排序）

Schur分解、特征值分解、奇异值分解是三种联系十分紧密的矩阵分解，它们的关系是$Schur\to EVD\to SVD$，也就是说由Schur分解可以推导出EVD，再推导出SVD。本篇博客和下篇博客按照主线$Schur\to EVD\to SVD$依次介绍这三种矩阵分解，同时也通过一些例子介绍它们各自在理论上的应用（能够解决矩阵论中的哪些问题，推出哪些结论）。

本篇博客讨论Schur分解以及利用Schur分解能够解决的若干问题。下篇博客（链接）讨论特征值分解EVD和奇异值分解SVD的相关内容。

本文内容以线性代数知识为基础（主要是特征值和相似的知识）：
矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、初等变换、满秩分解
矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（3）——矩阵的秩与向量组的秩
矩阵论（零）：线性代数基础知识整理（4）——线性空间与线性变换
矩阵论（零）：线性代数基础知识整理（5）——特征值与相似

• Schur分解
  • Schur定理
  • Schur分解与矩阵的特征值
  • Schur分解与矩阵的可逆性
  • Schur分解与矩阵的幂
    • 幂零矩阵
    • 方阵幂的秩
    • 收敛矩阵
  • Schur分解与矩阵的多项式/级数
    • Hamilton-Cayley定理
    • Neumann级数
  • 实矩阵的Schur分解（拓展内容）

---

Schur分解（任意方阵）

Schur定理

Schur分解是最基本的矩阵分解之一，在矩阵分析中作为重要的理论工具，能够将一般方阵转化成上三角矩阵来研究。Schur分解可以用来求解非对称矩阵的特征值，求不可对角化方阵的幂等。此外，Schur分解也是推导EVD和SVD的一个有效途径。
下面是酋矩阵的基本性质，是理解Schur分解的证明所必须掌握的。

• 如果A是一个n阶酋矩阵，那么$\left[\begin{array}{cc}1& 0^T\\ 0& A\end{array}\right]$是一个$n+1$阶酋矩阵（由列向量组单位正交就可以证明）
• 如果A和B是同阶酋矩阵，则$AB$也是酋矩阵（由酋矩阵的定义即证）

现在，我们就来看任意方阵存在Schur分解是如何证明的：

• 定理1（Schur定理）：设$A\in C^{n\times n}$，则存在n阶上三角矩阵T和n阶酋矩阵U使得$U^{H}AU=T$
  证明：（对A的阶数n进行归纳）
  当n=1时，A本身就是一个上三角矩阵，取1阶酋矩阵$\left[\begin{array}{c}1\end{array}\right]$即知结论成立。假定结论对n-1阶方阵成立，下面证明结论对n阶方阵也成立。
  取A的特征值${\lambda }_1$和对应的单位特征向量$u_1$，即$A{u}_1={\lambda }_1{u}_1$且$||u_1|{|}_2=1$。由扩充定理及Gram-schmidt正交化方法知，可将$u_1$扩充为$C^n$的一组标准正交基，以这组基为矩阵$U_1$的列向量组，其中$u_1$为第一列，则$U_1$是酋矩阵。计算可得$$U_1^{H}A{U}_1=\left[\begin{array}{cc}{\lambda }_1& \cdots \\ 0& A_1\end{array}\right]$$其中$A_1$是一个n-1阶方阵。根据归纳假设，存在n-1阶酋矩阵$W$使得$$W^H{A}_{1}W=\left[\begin{array}{ccc}{\lambda }_2& \cdots & \ast \\ & \ddots & ⋮\\ & & {\lambda }_n\end{array}\right]$$设$U_2=\left[\begin{array}{cc}1& 0^T\\ 0& W\end{array}\right]$，则$U_2$是酋矩阵。设$U=U_1{U}_2$，则U也是酋矩阵。计算可得$$\begin{gathered} U^{H}AU=U_2^H(U_1^{H}A{U}_1)U_2 \\ =\left[\begin{array}{cc}1& 0^T\\ 0& W^H\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& \cdots \\ 0& A_1\end{array}\right]\left[\begin{array}{cc}1& 0^T\\ 0& W\end{array}\right]=\left[\begin{array}{ccc}{\lambda }_1& \cdots & \ast \\ & \ddots & ⋮\\ & & {\lambda }_n\end{array}\right] \end{gathered}$$得证。

Schur分解与矩阵的特征值

• 定理2：设n阶方阵A的Schur分解为$A=UT{U}^H$，则$\lambda$是A的特征值的充要条件为$\lambda$在T的主对角线上，且A的每一个特征值的代数重数等于其在T的主对角线上出现的次数
  证：
  注意到A与T相似（酋相似是相似的一种特殊情况），故A的特征值都是T的特征值，T的特征值也都是A的特征值，且A和T的同一个特征值的代数重数相等。又因为T是上三角矩阵，取T的全部主对角元就得到了A的全部特征值，且A的任意特征值的代数重数就等于该特征值在T的主对角线上出现的次数。

需要知道的一点是，设$A\in C^{n\times n}$的全部特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，则对这$n$个特征值的任意排列顺序${\lambda }_{i_1},{\lambda }_{i_2},...,{\lambda }_{i_n}$（$i_1,i_2,...,i_n$是$1,2,...,n$的一个排列），都存在上三角阵$T$以及相应的酋矩阵$U$使得$A=UT{U}^H$，满足$T$的主对角线元素从上到下依次为${\lambda }_{i_1},{\lambda }_{i_2},...,{\lambda }_{i_n}$。
这一点可以从定理1的证明过程中看出来。在构造酋矩阵$U_1$时，我们是先选取了A的一个特征值${\lambda }_1$和对应的单位特征向量$u_1$，而这里${\lambda }_1$选择的是$A$的哪个特征值都无所谓，我们当然可以选择${\lambda }_{i_1}$作为这里的${\lambda }_1$。同理，在递归地进行$n-1$阶方阵$A_1$的Schur分解构造时，我们也会选择$A_1$的一个特征值（注意根据式$U_1^{H}A{U}_1=\left[\begin{array}{cc}{\lambda }_1& \cdots \\ 0& A_1\end{array}\right]$可知$A$的特征值是${\lambda }_1$加上$A_1$的n-1个特征值），此时选择${\lambda }_{i_2}$就可以了。如此归纳地选择下去即可。

• 定理3：设$A\in C^{n\times n}$，$A$的n个特征值（重特征值按重数算）为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，则$A^k(k=1,2,...)$的n个特征值为${\lambda }_1^k,{\lambda }_2^k,...,{\lambda }_n^k$
  证：
  设$A$的一个Schur分解为$A=UT{U}^H$，上三角矩阵$T$的主对角元依次为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$。则由$A^k=(UT{U}^H{)}^k=U{T}^k{U}^H$知，$A^k$的n个特征值为${\lambda }_1^k,{\lambda }_2^k,...,{\lambda }_n^k$。
  【注】这个定理的重要意义在于说明方阵$A$的特征值$\lambda$的代数重数与$A^k$的特征值${\lambda }^k$的代数重数是有关系的。例如，若$A$的特征值为$2,2,3$，则由上述定理可得$A^3$的特征值为$2^3,2^3,3^3$，其中$A^3$的特征值$2^3$的代数重数是2，恰好等于$A$的特征值$2$的代数重数。但需要注意的是，$A$和$A^k$的相应特征值的代数重数并不总是相等。例如，若$A$的特征值为$-2,2,3$，则$A^2$的特征值为$4,4,9$，$A$有三个不同的特征值，但$A^2$只有两个不同的特征值。

• 定理4：设$A\in C^{n\times n}$，则$A$的任意特征值$\lambda$的几何重数小于等于代数重数
  证：
  设$A$的一个Schur分解为$A=UT{U}^H$，$\lambda$是$A$的一个代数重数为$m_1$的特征值，其几何重数为$m_2$。考虑线性方程组$(\lambda I-A)x=0$，即$U(\lambda I-T)U^{H}x=0$，由于$\lambda I-T$的对角线上恰有$m_1$个0，即有$n-m_1$个元素非零，故$r(\lambda I-T)⩾n-m_1$，于是$(\lambda I-A)x=0$的基础解系有$n-r(\lambda I-A)=n-r(\lambda I-T)⩽m_1$个向量，即$\lambda$的几何重数小于等于代数重数。
  【注】该定理是方阵特征值的基本性质之一，线性代数教材中常用的方法是使用扩充定理将特征子空间的基扩充为$C^n$的基，以基向量为列构造可逆矩阵$P$，将原问题转化为探讨$P^{-1}AP$的特征值的重数问题。个人认为Schur分解给出了一个更直观的角度。

Schur分解与矩阵的可逆性

【注】使用特征多项式讨论特征值，也能得到下面的结果。

• 定理5：$\forall A\in C^{n\times n},\exists t_0\in R,\forall t>t_0$有$tI+A$可逆
  证：
  设A的Schur分解为$A=UT{U}^H$，记T的主对角元中实部最小的是$\lambda$（即A的所有特征值中实部最小的），令$t_0=-Re\{\lambda \}$。因为$tI+A=U(tI+T)U^H$，且上三角矩阵$tI+T$的主对角元的实部均不小于$t+Re\{\lambda \}$，而$t+Re\{\lambda \}>t_0+Re\{\lambda \}=0$，故$tI+T$的主对角元均不为零，故$tI+T$的行列式不为零，故$tI+T$可逆，故$tI+A$可逆。

上述定理说明只要常数t取得充分大，就能使得$tI+A$可逆，即使A本身是不可逆的。实际上，不但t可以取得充分大，t还可以取得充分小：

• 定理6：$\forall A\in C^{n\times n},\exists t_0>0,\forall 0<t<t_0$有$tI+A$可逆
  证：
  设A的Schur分解为$A=UT{U}^H$，A的特征值为${\lambda }_1,\cdots ,{\lambda }_n$满足$Re\{{\lambda }_1\}⩽\cdots ⩽Re\{{\lambda }_n\}。$若$Re\{{\lambda }_1\}=\cdots =Re\{{\lambda }_n\}=0$，则任取$t_0>0$结论都成立；否则，设$Re\{{\lambda }_1\}⩽\cdots ⩽Re\{{\lambda }_{i-1}\}<Re\{{\lambda }_i\}=\cdots =Re\{{\lambda }_j\}=0<Re\{{\lambda }_{j+1}\}⩽\cdots ⩽Re\{{\lambda }_n\}$，满足$i=1$和$j=n$至少有一个不成立，取$t_0=min\left\{|Re\{{\lambda }_k\}|\mid 1⩽k<i\vee j<k⩽n\right\}$，则上三角矩阵$tI+T$的主对角元均不为零，故$tI+T$可逆，故$tI+A=U(tI+T)U^H$可逆。

在计算机上求矩阵的逆时，由于数值计算的精度等限制，即使拿一个理论上可逆的矩阵有时也会遇到求不出逆的情况，常用的一个解决方案是将一个很小的正数t加到A的对角线上去，就能求出逆了。由于t很小，所以这种办法求出的逆矩阵与A的实际逆矩阵差别不大。定理6证明了这样做的可行性。另外，在分析学中，定理6是以矩阵为自变量的函数的连续性理论的基础。

Schur分解与矩阵的幂

在计算方阵$A$的幂$A^k$之前，若知道$A$的schur分解$A=UT{U}^H=UT{U}^{-1}$，则有$A^k=U{T}^k{U}^H$，这就将方阵的幂运算转换成了上三角阵的幂运算。计算两个上三角阵的积的远算量比计算同阶的两个方阵的积的运算量要少的多，因此，schur分解能够加快矩阵幂的计算（当然，计算一般方阵的schur分解本身也不是容易的事，可能对于很大的幂指数，才有真正的加速效果）。
谈到矩阵的幂，Schur分解还能提供解决某些问题的思路，如幂零矩阵的指数、矩阵幂的秩、收敛矩阵的充要条件等。

幂零矩阵

• 引理1：设$A\in C^{n\times n}$为严格上三角阵（主对角线元素全部为零的上三角阵），则$A^n=O$
  证明是显然的，通过计算即可发现规律：每当$A^k$的指数$k$增加1，就会新出现一条斜边，其上的元素全部为零。举个4阶矩阵的例子：$$A=\left[\begin{array}{cccc}0& 1& 1& 1\\ 0& 0& 1& 1\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}\right]A^2=\left[\begin{array}{cccc}0& 0& 1& 2\\ 0& 0& 0& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]A^3=\left[\begin{array}{cccc}0& 0& 0& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right]A^4=O$$
• 定义：设$A\in C^{n\times n}$，若存在正整数$k$使得$A^k=O$，则称$A$为幂零矩阵，并把满足$A^m=O$的最小正整数$m$称为$A$的幂零指数（简称指数）
  （显然，零矩阵的幂零指数是1；由引理1知任意$n$阶严格上三角阵都是幂零矩阵，其幂零指数不大于$n$）
• 定理7：设$A\in C^{n\times n}$，则$A$是幂零阵的充要条件为$A$只有零特征值
  证：
  设$A$的一个schur分解为$A=UT{U}^H$，其中$T$为上三角阵。
  必要性：任意正整数$m$，有$A^m=U{T}^m{U}^H$。假设$T$的主对角线上存在非零元素$\lambda$（即$A$有非零特征值$\lambda$），则$T^m$的主对角线上有非零元素${\lambda }^m$，故$T^m\ne O$，由$U$可逆知$A^m\ne O$。这与$A$是幂零矩阵相矛盾，故$A$只有零特征值。
  充分性：若$A$只有零特征值，则$T$的主对角线上元素均为零，$T$是一严格上三角阵。由引理1，$T^n=O$，故$A^n=U{T}^n{U}^H=O$。根据幂零矩阵的定义知$A$是幂零矩阵。
• 定理8：设$A\in C^{n\times n}$是一幂零矩阵，则$A$的指数$t⩽n$
  证明：
  从定理7充分性的证明可以得知。

方阵幂的秩

在前面的博客中（链接，“关于公式9的进一步讨论”），我们曾对方阵幂的秩随幂指数的变化规律做了初步的讨论。当时讨论的主要结果贴在下面作为引理：

• 引理2：设$A\in F^{n\times n}$，$r(A)=r$，则存在正整数$p_0⩽r+1$，使得$r(A)>r(A^2)>...>r(A^{p_0})=r(A^{p_0+1})=r(A^{p_0+2})=...$；特别地，若$p_0=r+1$，则对$k=1,2,...,r$有$r(A^k)=r-k+1$，且$0=r(A^{r+1})=r(A^{r+2})=r(A^{r+3})=...$

把这个引理应用到幂零矩阵上，可以得到比定理8更强的结论：

• 定理9：设$A\in C^{n\times n}$是一幂零矩阵，则幂零指数$t⩽r(A)+1$，且$r(A)>r(A^2)>...>r(A^{t-1})>r(A^t)=0$
  证：
  由幂零矩阵的定义知，存在正整数$m$使得$A^m=O$，$r(A^m)=0$。设$r(A)=r$。若$m⩽r+1$，则根据幂零指数的定义知$t⩽r+1$。若$m>r+1$，根据引理2，有$r(A^{r+1})=r(A^{r+2})=...=r(A^m)=0$，故$A^{r+1}=O$，根据幂零指数的定义知$t⩽r+1$。
  根据幂零指数的定义，$A^{t-1}\ne O$且$A^t=O$，故$r(A^{t-1})>r(A^t)=0$。根据引理2知$r(A)>r(A^2)>...>r(A^{t-1})>r(A^t)=0$。
  【注】这个定理还说明，对幂零矩阵$A$而言，引理2中的那个正整数$p_0$就是$A$的幂零指数。

接下来我们利用Shur分解对方阵幂的秩进行讨论，得到一个比引理2更强的结论。

• 定理10：设$A\in C^{n\times n}$，$r(A)=r$，$A$的零特征值的代数重数为$s$。则存在非负整数$p⩽\min \{r+1,s\}$，使得$r(A)>r(A^2)>...>r(A^p)$，且$n-s=r(A^p)=r(A^{p+1})=r(A^{p+2})=...$
  证：
  设$A\in C^{n\times n}$，$A$的一个Schur分解为$A=UT{U}^H$，其中上三角阵$T$的主对角线的前$n-s$个元素是$A$的非零特征值，后$s$个元素是$A$的零特征值。将$T$分块为如下形式：$$T=\left[\begin{array}{cc}C& B\\ O& D\end{array}\right]$$其中$C$是$n-s$阶上三角阵，$D$是$s$阶严格上三角阵。因为$C$的主对角线上元素均非零，所以$C$可逆。计算可知，对任意正整数$k$，$T^k$具备如下形式：$$T^k=\left[\begin{array}{cc}{C}^k& \ast \\ O& D^k\end{array}\right]$$由$C^k$可逆，我们可以利用分块初等变换计算$T^k$的秩：$$r(T^k)=r\left[\begin{array}{cc}{C}^k& \ast \\ O& D^k\end{array}\right]\stackrel{列变换}{=}r\left[\begin{array}{cc}{C}^k& O\\ O& D^k\end{array}\right]=r(C^k)+r(D^k)$$于是$r(A^k)=r(U{T}^k{U}^H)=r(T^k)=r(C^k)+r(D^k)=n-s+r(D^k)$。注意严格上三角阵$D$是幂零矩阵（引理1），设它的幂零指数为$t$，则根据定理9知$t⩽r(D)+1$，且$r(D)>r(D^2)>...>r(D^{t-1})>r(D^t)=0$。于是$r(A)>r(A^2)>...>r(A^t)$，且$n-s=r(A^t)=r(A^{t+1})=r(A^{t+2})=...$。显然$r(D)⩽s-1$，又根据$r(A)=n-s+r(D)$可知$r(D)⩽r(A)$，因此$t⩽r(D)+1⩽\min \{r(A)+1,s\}$。取$p=t$，证毕。

上面的定理已经告诉我们，随着幂指数$k$增加，$r(A^k)$最终将取值为$n-s$，其中$s$是零特征值的代数重数。但是，如果要知道$r(A^k)$在每一个$k$处的取值，那么就需要借助Jordan标准形的相关结论。有一篇中文论文给出了详细的讨论：链接。

收敛矩阵

幂零矩阵是收敛矩阵的特例，使用shur分解还可以证明收敛矩阵的充要条件。为此先给出矩阵分析的几个最基本的概念。
首先是将数列的极限/向量序列的极限的定义推广到矩阵序列上，使用经典的$ϵ-N$定义。

• 定义：设在数域$F$下（$F$是$R$或$C$），有一矩阵序列$\{A^{(k)}\}$以及矩阵$A$，若$\forall ϵ>0$，$\exists N\in N_{+}$，使得$\forall n>N$有$||A^{(n)}-A|{|}_F<ϵ$成立，其中$||\bullet |{|}_F$为Frobenius范数，就称矩阵序列$\{A^{(k)}\}$收敛于$A$，记作${\lim }_{k\to \infty }{A}^{(k)}=A$

根据以上定义，容易建立矩阵序列的极限与矩阵的每个元素的数列极限之间的关系（如下）。实际上，由于这两种表述的等价性，很多教材直接将矩阵的每个元素收敛定义成矩阵收敛。

• 定理11：设在数域$F$下（$F$是$R$或$C$），有一矩阵序列$\{A^{(k)}\}$以及矩阵$A$，其中$A^{(k)}=(a_{ij}^{(k)}{)}_{m\times n}$，$A=(a_{ij}{)}_{m\times n}$，则${\lim }_{k\to \infty }{A}^{(k)}=A$的充要条件为对任意下标$1⩽i⩽m,1⩽j⩽n$有${\lim }_{k\to \infty }{a}_{ij}^{(k)}=a_{ij}$
  证：
  必要性可通过不等式$0⩽|a_{ij}^{(k)}-a_{ij}|⩽\sqrt{{\sum }_{i,j}|a_{ij}^{(k)}-a_{ij}{|}^2}=||A^{(k)}-A|{|}_F$以及数列极限的定义得到。充分性可通过$|a_{ij}^{(k)}-a_{ij}|<ϵ⟹\sqrt{{\sum }_{i,j}|a_{ij}^{(k)}-a_{ij}{|}^2}<\sqrt{mn}ϵ$得到。

矩阵序列的极限和数列极限类似，也有加法、乘法等基本运算性质，本文略去证明，直接使用。收敛矩阵就是无穷次幂为零的矩阵，显然幂零矩阵只是收敛矩阵的特例。下文中$\rho (A)$表示$A$的谱半径，$C(i,j)$表示$C$的第i行第j列元素。

• 定义：设$A\in F^{n\times n}(F=R或C)$，若${\lim }_{k\to \infty }{A}^k=O$，则称$A$为收敛矩阵
• 引理3：设$A=(a_{ij}{)}_{n\times n}\in F^{n\times n}$，$B=(|a_{ij}|{)}_{n\times n}\in R^{n\times n}$，其中$F=R或C$，若$B$是收敛矩阵，则$A$也是收敛矩阵
  证：
  根据矩阵乘法的定义可知$A^k(i,j)={\sum }_{i_1,i_2,...,i_{k-1}}{a}_{i,i_1}{a}_{i_1,i_2}...a_{i_{k-1},j}$，$B^k(i,j)={\sum }_{i_1,i_2,...,i_{k-1}}|a_{i,i_1}||a_{i_1,i_2}|...|a_{i_{k-1},j}|$，于是由模的三角不等式知$|A^k(i,j)|⩽|B^k(i,j)|$。根据定理11，$B$是收敛矩阵就意味着$li{m}_{k\to \infty }{B}^k(i,j)=0$，从而由不等式关系以及夹逼定理知$li{m}_{k\to \infty }{A}^k(i,j)=0$，从而$A$是收敛矩阵。
• 引理4：设$T\in F^{n\times n}(F=R或C)$为上三角阵，且$\rho (T)<1$，则$T$是收敛矩阵
  证：
  若$\rho (T)=0$，则由引理1知$T$是幂零矩阵，结论显然成立，接下来证明$\rho (T)>0$的情况。设$T=(t_{ij}{)}_{n\times n},T^{\prime }=(|t_{ij}|{)}_{n\times n}$，由引理3知，若能证明$T^{\prime }$是收敛矩阵，就得到$T$是收敛矩阵。$\rho (T)$是$T^{\prime }$的主对角线元素的最大值。设$T^{\prime }$的主对角线元素依次为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，根据谱半径的定义，$\rho (T)=\max \{{\lambda }_1,{\lambda }_2,...,{\lambda }_n\}$。令$T^{\prime \prime }=T^{\prime }-diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，$S=\delta I+T^{\prime \prime }$，其中$0<\delta =\rho (T)<1$。$S$和$T^{\prime }$都是实上三角阵，且任意下标$i,j$均有$0⩽T^{\prime }(i,j)⩽S(i,j)$，使用引理3类似证法就知道，若$S$是收敛矩阵，则$T^{\prime }$是收敛矩阵。接下来证明$S$是收敛矩阵。根据二项式展开，当$k⩾n$时，$S^k=(\delta I+T^{\prime \prime }{)}^k={\sum }_{j=0}^k\left(\begin{array}{c}k\\ j\end{array}\right){\delta }^{k-j}{T}^{\prime \prime j}$。由于$T^{\prime \prime }$是严格上三角矩阵，根据引理1，当$j⩾n$时有$T^{\prime \prime j}=O$，于是$S^k={\sum }_{j=0}^{n-1}\left(\begin{array}{c}k\\ j\end{array}\right){\delta }^{k-j}{T}^{\prime \prime j}$。两端令$k\to \infty$就得到$li{m}_{k\to \infty }{S}^k={\sum }_{j=0}^{n-1}\left(li{m}_{k\to \infty }\left(\begin{array}{c}k\\ j\end{array}\right){\delta }^{k-j}\right)T^{\prime \prime j}={\sum }_{j=0}^{n-1}\left(li{m}_{k\to \infty }\frac{k(k-1)...(k-j+1)}{j!(\frac{1}{\delta }{)}^{k-j}}\right)T^{\prime \prime j}=O$。证毕。
• 定理12：设$A\in F^{n\times n}(F=R或C)$，则$A$为收敛矩阵的充要条件为$\rho (A)<1$
  证：
  必要性：任取$A$的一个特征值$\lambda \in C$和对应的一个特征向量$x\in C^n$，有$Ax=\lambda x,x\ne 0$，归纳可知$\forall k\in N_{+},A^{k}x={\lambda }^{k}x$，两端令$k\to \infty$就有${\lim }_{k\to \infty }({\lambda }^{k}x)=0$。由于$x$非零，故$x$至少有一个非零元素$x_j$，则由定理11知$x_j{\lim }_{k\to \infty }{\lambda }^k={\lim }_{k\to \infty }({\lambda }^k{x}_j)=0$，从而${\lim }_{k\to \infty }{\lambda }^k=0$。对复数$\lambda$而言，这就意味着$|\lambda |<1$，从而由谱半径的定义得$\rho (A)<1$。
  充分性：设$A$的一个schur分解为$A=UT{U}^H$，其中$U$为酋阵，$T$为上三角阵，归纳可得$A^k=U{T}^k{U}^H$。注意$T$和$A$有相同的特征值，故由$\rho (A)<1$知$\rho (T)<1$，于是由引理4得$li{m}_{k\to \infty }{T}^k=O$，故$li{m}_{k\to \infty }{A}^k=U(li{m}_{k\to \infty }{T}^k)U^H=O$，得证。

以上证明收敛矩阵充要条件的思路是，通过不等式放缩将证明所有谱半径小于1的矩阵是收敛矩阵的问题归结为只证明某一类谱半径小于1的矩阵是收敛矩阵的问题，这一类矩阵就是主对角线元素相等的非负上三角矩阵。收敛矩阵是矩阵级数理论中的一个基本结论，很多教材的证法是利用Jordan分解，不过Jordan分解属于矩阵论中比较高阶的内容了，本文的目的是尽可能用简单的事实进行论证。

Schur分解与矩阵的多项式/级数

前面已经讨论了Schur分解在矩阵的幂相关的问题上的应用。矩阵的多项式是不同次数矩阵幂的线性和，下面发掘一下Schur分解在矩阵多项式相关问题上的潜力。
什么是矩阵的多项式？我们在初中学的多项式属于初等数学范畴，在抽象代数中，多项式是指这样的对象，其具有形式$a_0+a_{1}x+...+a_n{x}^n$，其中“系数”$a_i\in R$，$R$是一给定的环，并且这些对象之间定义了适当的运算，使它们整体上也构成了一个环（多项式环）。“变元”$x$只是一个形式上的记号，为了使多项式看起来是我们熟悉的多项式的那个样子。我们甚至可以抛弃所有的形式符号，用$(a_0,a_1,...,a_n)$表示多项式，并建立起多项式的理论。不过，我们要研究的矩阵的多项式比它更具体一点：矩阵多项式具有形式$a_{0}I+a_{1}A+...+a_n{A}^n$，其中$+$就是矩阵的加法，$A^j$就是$A$的$j$次幂（所以$A$必须是方阵），$a_j{A}^j$就是$a_j$和$A^j$之间的数乘运算，$I$是方阵乘法的单位元（单位矩阵）。

Hamilton-Cayley定理

• 定理13：设$A\in F^{n\times n}$，$f(\lambda )=det(\lambda I-A)$是$A$的特征多项式，则$f(\lambda )$是$A$的零化多项式，即$f(A)=O$
  【注1】这里矩阵多项式$f(A)$，就是在$f(\lambda )$的展开式$f(\lambda )=a_0+a_1\lambda +...+a_n{\lambda }^n$的形式下，把变元$\lambda$替换成$A$，并按照上述矩阵多项式的概念去解释它。
  【注2】一个常见的荒谬错误是把$A$“代入”$f(\lambda )=det(\lambda I-A)$得到$f(A)=det(AI-A)=det(O)=0$。
  证：
  设$A$的一个Schur分解为$A=UT{U}^H=UT{U}^{-1}$，$T$的主对角线上元素依次为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$。特征多项式$f(\lambda )$可以分解为$f(\lambda )=(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)...(\lambda -{\lambda }_n)$，则$$\begin{array}{rl}{U}^{-1}f(A)U& =U^{-1}(A-{\lambda }_{1}I)(A-{\lambda }_{2}I)...(A-{\lambda }_{n}I)U\\ & =U^{-1}(A-{\lambda }_{1}I)U{U}^{-1}(A-{\lambda }_{2}I)U{U}^{-1}...(A-{\lambda }_{n}I)U\\ & =(U^{-1}AU-{\lambda }_{1}I)(U^{-1}AU-{\lambda }_{2}I)...(U^{-1}AU-{\lambda }_{n}I)\\ & =(T-{\lambda }_{1}I)(T-{\lambda }_{2}I)...(T-{\lambda }_{n}I)\end{array}$$注意$(T-{\lambda }_{1}I)$的第一列全为零，$(T-{\lambda }_{1}I)(T-{\lambda }_{2}I)$的第一列和第二列全为零，以此类推，$(T-{\lambda }_{1}I)(T-{\lambda }_{2}I)...(T-{\lambda }_{n}I)$的第$1,2,...,n$列全为零，即$U^{-1}f(A)U=O$，故$f(A)=O$，证毕。

Neumann级数

矩阵级数与高等数学中数项级数的定义是一致的。

• 定义：设在数域$F$下（$F$是$R$或$C$），有一矩阵序列$\{A^{(k)}\}$。我们称序列中前$m$项的和$S^{(m)}={\sum }_{k=1}^m{A}^{(k)}$为部分和，称极限${\lim }_{m\to \infty }{\sum }_{k=1}^m{A}^{(k)}$为矩阵级数，并记作${\sum }_{k=0}^{\infty }{A}^{(k)}={\lim }_{m\to \infty }{\sum }_{k=1}^m{A}^{(k)}$。如果矩阵序列$\{S^{(m)}\}$收敛于矩阵$A$，我们就称级数${\sum }_{k=0}^{\infty }{A}^{(k)}$收敛，且它的和为${\sum }_{k=0}^{\infty }{A}^{(k)}=A$。

方阵$A$的Neumann级数是指${\sum }_{k=0}^{\infty }{A}^k$。Neumann级数是定理12的一个简单推论。

• 定理14：设$A\in F^{n\times n}(F=R或C)$，${\sum }_{k=0}^{\infty }{A}^k$收敛的充要条件为$\rho (A)<1$
  证：
  必要性：若${\sum }_{k=0}^{\infty }{A}^k$收敛，则令式$A^m={\sum }_{k=0}^m{A}^k-{\sum }_{k=0}^{m-1}{A}^k$两端$m\to \infty$就得到$li{m}_{m\to \infty }{A}^n={\sum }_{k=0}^{\infty }{A}^k-{\sum }_{k=0}^{\infty }{A}^k=O$。根据定理12便知$\rho (A)<1$。
  充分性：注意下式$$\left(\sum _{k=0}^m{A}^k\right)(I-A)=I-A^{m+1}$$由$\rho (A)<1$知$1$一定不是$A$的特征值，因此$I-A$必可逆，给上式两端右乘$(I-A{)}^{-1}$得到$$\sum _{k=0}^m{A}^k=(I-A^{m+1})(I-A{)}^{-1}$$根据定理12知$A$是收敛矩阵，因此上式两端令$m\to \infty$就有${\sum }_{k=0}^{\infty }{A}^k=(I-A{)}^{-1}$。

实矩阵的Schur分解（拓展内容）

定理1的Schur分解是针对复矩阵而言的，如果将数域缩小到实数域，schur分解就不适用了。

• 假命题：设$A\in R^{n\times n}$，则存在实正交矩阵$U$和实上三角矩阵$T$使得$A=UT{U}^T$

实际上，只要方阵$A$的特征值不全为实数，就不存在上述分解。然而，虽然不能将任意实矩阵正交相似上三角化，但我们可以放宽要求，将任意实矩阵正交相似拟上三角化。拟上三角阵具有如下形式：$$\left[\begin{array}{cccc}{R}_{11}& R_{12}& \cdots & R_{1m}\\ & R_{22}& \cdots & R_{2m}\\ & & \ddots & ⋮\\ & & & R_{mm}\end{array}\right]$$其中对角子块$R_{ii}$是$1\times 1$或$2\times 2$方块。拟上三角阵是特殊的分块上三角阵，分块上三角阵也具有上述形式，只是对角子块$R_{ii}$不一定必须是$1\times 1$或$2\times 2$方块，只要是方块就行。
（下文用$i$表示虚数单位。注意虚数是指不是实数的复数，虚特征值一定不是实数）

• 引理5：设$x=c+id\in C^n$，其中$c,d\in R^n$线性无关，则存在$\lambda =a+bi\in C$，其中$a,b\in R$，使得$\lambda x$的实部和虚部非零且正交
  证：
  计算可得$\lambda x=(ac-bd)+i(ad+bc)$。原命题等价于关于$a,b$的方程$(ac-bd{)}^T(ad+bc)=c^{T}d(a^2-b^2)+(c^{T}c-d^{T}d)ab=0$有实数解$a_0,b_0$，满足$a_0,b_0$不全为零。令$b=1$，则方程变为关于$a$的二次方程$c^{T}d{a}^2+(c^{T}c-d^{T}d)a-c^{T}d=0$，根据判别式可知该二次方程有实数解。得证。
• 定理15：设$A\in R^{n\times n}$，则存在正交矩阵$U\in R^{n\times n}$和实矩阵$T\in R^{n\times n}$使得$A=UT{U}^T$，其中，$T$是一满足如下要求的拟上三角阵：$$T=\left[\begin{array}{cccc}{R}_{11}& R_{12}& \cdots & R_{1m}\\ & R_{22}& \cdots & R_{2m}\\ & & \ddots & ⋮\\ & & & R_{mm}\end{array}\right]$$其中对角子块$R_{ii}$是$1\times 1$矩阵或有一对共轭的虚特征值的$2\times 2$矩阵
  证：（也是使用归纳法，但构造较繁琐）
  设$A$的阶数为$k$。对$k=1$，$A$本身就是拟上三角矩阵，取1阶正交矩阵$[1]$即知结论成立。对$k=2$，$A$有实特征值的情形可以根据下面的归纳得出，此处讨论$A$只有虚特征值的情形：$A$的特征多项式是实系数多项式，因此根据虚根成对定理知$A$有一对共轭的虚特征值，取2阶正交矩阵$I_2$（单位矩阵）便知结论成立。
  假定结论对$k⩽n-1$阶方阵成立，现证明结论对$k=n$阶方阵成立：
  若$A$有一实特征值$\lambda$，取对应的一个单位实特征向量$x$，由扩充定理及Gram-schmidt正交化方法知，可构造以$x$为第一列的正交矩阵$U_1$，计算可得$$U_1^{T}A{U}_1=\left[\begin{array}{cc}{R}_{11}& \cdots \\ 0& A_1\end{array}\right]$$其中$R_{11}=[\lambda ]$为$1\times 1$矩阵。由归纳假设，存在$n-1$阶实正交矩阵$W$使得$$W^T{A}_{1}W=\left[\begin{array}{ccc}{R}_{22}& \cdots & \ast \\ & \ddots & ⋮\\ & & R_{nn}\end{array}\right]$$为一满足要求的拟上三角阵。设$U_2=\left[\begin{array}{cc}1& 0^T\\ 0& W\end{array}\right]$，$U=U_1{U}_2$，则U是正交矩阵。计算可得$$U^{T}AU=U_2^T(U_1^{T}A{U}_1)U_2=\left[\begin{array}{ccc}{R}_{11}& \cdots & \ast \\ & \ddots & ⋮\\ & & R_{nn}\end{array}\right]$$为一满足要求的拟上三角阵。
  若$A$没有实特征值，任取$A$的一个虚特征值$\lambda$，并设$Ax=\lambda x,0\ne x\in C^n$，该式两端取共轭得$A\overline{x}=\overline{\lambda }\overline{x}$，于是知$\overline{\lambda }$也是$A$的一个特征值，$\overline{x}$是对应的特征向量。又$\lambda \ne \overline{\lambda }$，故$x,\overline{x}$是线性无关的，进一步易证$x$的实部和虚部是线性无关的。根据引理5，存在$k\in C$使$y=kx$的实部和虚部非零且正交。注意$y$也是$A$对应于特征值$\lambda$的一个特征向量。设$\lambda =a+bi,a,b\in R$，$y=c+di,c,d\in R^n$，其中$i$是虚数单位，则$b\ne 0,c,d\ne 0,c^{T}d=0$，且由$Ay=\lambda y$可得$Ac=ac-bd,Ad=ad+bc$。令$K=\left[\begin{array}{cc}c& d\end{array}\right]$，计算易知$$AK=KD$$其中$D=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]$有特征值$\lambda ,\overline{\lambda }$。令对角阵$P=\left[\begin{array}{cc}||c|{|}_2^{-1}& 0\\ 0& ||d|{|}_2^{-1}\end{array}\right]$，则$$A(KP)=KDP=(KP)P^{-1}DP$$其中$KP=\left[\begin{array}{cc}\frac{c}{||c|{|}_2}& \frac{d}{||d|{|}_2}\end{array}\right]$的列向量组是单位正交向量组，$P^{-1}DP$与$D$相似，特征值为$\lambda ,\overline{\lambda }$。由扩充定理及Gram-schmidt正交化方法知，可构造正交矩阵$U_1=\left[\begin{array}{cc}KP& \ast \end{array}\right]$，计算可得$$U_1^{T}A{U}_1=\left[\begin{array}{cc}{R}_{11}& \cdots \\ 0& A_1\end{array}\right]$$其中$R_{11}=P^{-1}DP$为$2\times 2$矩阵，有一对共轭的虚特征值$\lambda ,\overline{\lambda }$。由归纳假设，存在$n-2$阶实正交矩阵$W$使得$$W^T{A}_{1}W=\left[\begin{array}{ccc}{R}_{22}& \cdots & \ast \\ & \ddots & ⋮\\ & & R_{nn}\end{array}\right]$$为一满足要求的拟上三角阵。设$U_2=\left[\begin{array}{cc}{I}_2& O^T\\ O& W\end{array}\right]$， U = U 1 U 2 U=U_1U_2 U=U1​U