【矩阵论】1.准备知识——相似对角化与合同&正定阵

矩阵论
1. 准备知识——复数域上的矩阵与换位公式)
1. 准备知识——复数域上的内积域正交阵
1. 准备知识——相似对角化与合同&正定阵
2. 矩阵分解—— SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——乔利斯分解&平方根公式
2. 矩阵分解——正规谱分解——正规阵
2. 矩阵分解——正规分解
2. 矩阵分解——单阵及特征值特征向量一些求法

---

2.1 基本概念

2.1.1 特殊矩阵的乘积

对角阵的乘积

$$\begin{array}{rl}\Lambda =\left(\begin{array}{ccccc}& {\lambda }_1& & & \\ & & {\lambda }_2& & \\ & & & \ddots & \\ & & & & {\lambda }_n\end{array}\right),{\Lambda }^H\Lambda & =\left(\begin{array}{ccccc}& \overline{{\lambda }_1}{\lambda }_1& & & \\ & & \overline{{\lambda }_2}{\lambda }_2& & \\ & & & \ddots & \\ & & & & \overline{{\lambda }_n}{\lambda }_n\end{array}\right)\\ & =\left(\begin{array}{ccccc}& |{\lambda }_1{|}^2& & & \\ & & |{\lambda }_2{|}^2& & \\ & & & \ddots & \\ & & & & |{\lambda }_n{|}^2\end{array}\right)\end{array}$$

上三角阵的乘积

2.1.2 特商公式

$$\begin{array}{rl}& {\lambda }_1=\frac{X^{H}AX}{|X{|}^2},其中(X\ne 0为{\lambda }_1的一个特征向量)\\ & \\ & 证明:X^{H}AX=X^H\lambda X=\lambda X^{H}X=\lambda |X{|}^2(|X{|}^2>0)\end{array}$$

2.1.3 许尔公式(上三角)

Xhur 1-1

$$\begin{array}{rl}& 任一方阵，A\in C^{n\times n}，必存在可逆阵P，使P^{-1}AP=B，\\ & B=\left(\begin{array}{ccccc}& {\lambda }_1& \ast & \cdots & \ast \\ & 0& {\lambda }_2& \cdots & \ast \\ & ⋮& ⋮& \ddots & ⋮\\ & 0& 0& \cdots & {\lambda }_n\end{array}\right)为上三角阵\end{array}$$

若当型

$$\begin{array}{rl}由Xhur公式1-1，一定\exists 更好的可逆阵P，使得P^{-1}AP& =B\\ & =\left(\begin{array}{ccccc}& {\lambda }_1& \ast & & \\ & & {\lambda }_2& \ast & \\ & & & \ddots & \ast \\ & & & & {\lambda }_n\end{array}\right)\\ ，其中\ast 为0或1& \end{array}$$

也称为双线上三角

Xhur 1-2

$$\begin{array}{rl}& 任一方阵，A\in C^{n\times n}，必存在U阵Q，使Q^{-1}AQ=Q^{H}AQ=B，\\ & B=\left(\begin{array}{ccccc}& {\lambda }_1& \ast & \cdots & \ast \\ & 0& {\lambda }_2& \cdots & \ast \\ & ⋮& ⋮& \ddots & ⋮\\ & 0& 0& \cdots & {\lambda }_n\end{array}\right)为上三角阵\end{array}$$

每个矩阵都优相似于上三角阵

2.1.4 Hermite分解定理(对角阵)

$$\begin{array}{rl}若A=A^H是Hermite阵，& 则存在U阵Q,使Q^{-1}AQ=Q^{H}AQ\\ & \\ & =\Lambda =\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\end{array}$$

由Hermite分解定理， $Q^{-1}AQ=\Lambda$ 可得，$A=Q\Lambda Q^{-1}=Q\Lambda Q^H$

证明

$$\begin{array}{rl}& 由许尔公式\Rightarrow 有U阵Q使Q^{-1}AQ=Q^{H}AQ=B\\ & =\left(\begin{array}{ccccc}& {\lambda }_1& \ast & \cdots & \ast \\ & 0& {\lambda }_2& \cdots & \ast \\ & ⋮& ⋮& \ddots & ⋮\\ & 0& 0& \cdots & {\lambda }_n\end{array}\right)\\ & 由A是Hermite矩阵，则A^H=A,(Q^{H}AQ{)}^H=Q^H{A}^{H}Q=Q^{H}AQ\\ & =\left(\begin{array}{ccccc}& \overline{{\lambda }_1}& 0& \cdots & 0\\ & \ast & \overline{{\lambda }_2}& \cdots & 0\\ & ⋮& ⋮& \ddots & ⋮\\ & \ast & \ast & \cdots & \overline{{\lambda }_n}\end{array}\right)\\ & 由此可见，B为对角阵，且{\lambda }_i为实数\end{array}$$

推论

$$1.若A^H=A是Hermite矩阵，则特征根都是实数，\{{\lambda }_1,\cdots ,{\lambda }_n\}\in R,$$

证：
$$\begin{array}{rl}& 由特商公式\lambda =\frac{X^{H}AX}{|X{|}^2}，其中X\ne 0，为\lambda 的特征向量\\ & 其中|X|\ge 0，为实数.\therefore 若证\lambda 为实数，即证X^{H}AX为实数\\ & 已知X^{H}AX为一维数字，则只需证明(X^{H}AX{)}^H=X^{H}AX即可,\\ & 已知A=A^H为Hermite矩阵，(X^{H}AX{)}^H=X^H{A}^{H}X=X^{H}AX\in R\end{array}$$

2.1.5 特征值与特征向量

$$\begin{array}{rl}& 1.若方阵A=(a_{ij}{)}_{n\times n}中每个行和都为常数，则{\lambda }_1=k为一个特征值，且"全1向量"\\ & X=\left(\begin{array}{c}1\\ ⋮\\ 1\end{array}\right)为一个特征向量，使得AX=kX\\ & 2.若方阵A=(a_{ij}{)}_{n\times n}中每个列和为常数k，则{\lambda }_1=k为一个特征值，\\ & 但“全1向量”未必是特征向量\end{array}$$

eg

$$\begin{array}{rl}& A=\left(\begin{array}{ccc}& 2& 2\\ & 1& 3\end{array}\right)(行和)B=\left(\begin{array}{ccc}& 5& 2\\ & -1& 2\end{array}\right)(行和)C=\left(\begin{array}{ccc}& 1& 2\\ & 0& 3\end{array}\right)(行和)\\ & A\left(\begin{array}{c}1\\ 1\end{array}\right)=4\left(\begin{array}{c}1\\ 1\end{array}\right)B\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}7\\ 1\end{array}\right)C\left(\begin{array}{c}1\\ 1\end{array}\right)=3\left(\begin{array}{c}1\\ 1\end{array}\right)\end{array}$$

2.1.6 Hermite阵的特征向量

$$\begin{array}{r}若A=A^H\in C^{n\times n}，则A有n个互相正交的特征向量，即X_1\perp X_2\perp ...\perp X_n\end{array}$$

证明
$$\begin{array}{rl}& 若A为Hermite阵，则\exists U阵Q，使Q^{-1}AQ=Q^{H}AQ=\Lambda =\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\\ & 令Q=(X_1,X_2,\cdots ,X_n)，且X_1\perp X_2\perp ...\perp X_n,\\ & AQ=Q\Lambda ⟺\left(\begin{array}{ccccc}& A{X}_1& & & \\ & & A{X}_2& & \\ & & & \ddots & \\ & & & & A{X}_n\end{array}\right)=\left(\begin{array}{ccccc}& {\lambda }_1{X}_1& & & \\ & & {\lambda }_2{X}_2& & \\ & & & \ddots & \\ & & & & {\lambda }_n{X}_n\end{array}\right)\\ & 即X_i为矩阵A的{\lambda }_i的特征向量\end{array}$$

推论

$$\begin{array}{rl}& 若A为Hermite阵，有A^H=A,且{\lambda }_1\ne {\lambda }_2，则相应的特征向量正交\end{array}$$

证明：
$$\begin{array}{rl}& 由{\lambda }_1\ne {\lambda }_2,且A{X}_1={\lambda }_1{X}_1,A{X}_2={\lambda }_2{X}_2,有\\ & {\lambda }_1(X_1,X_2)=({\lambda }_1{X}_1,X_2)=(A{X}_1,X_2)=X_2^{H}A{X}_1\\ & {\lambda }_2(X_1,X_2)=(X_1,\overline{{\lambda }_2}{X}_2)\stackrel{H阵特征值\in R}{=}(X_1,{\lambda }_2{X}_2)=(X_1,A{X}_2)=(A{X}_2{)}^H{X}_1=\\ & =X_2^{H}A{X}_1={\lambda }_1(X_1,X_2)\\ & \therefore ({\lambda }_1-{\lambda }_2)(X_1,X_2)=0,而{\lambda }_1\ne {\lambda }_2，则(X_1,X_2)=0\end{array}$$

2.1.7 相似对角化

$$\begin{array}{rl}& 若P^{-1}AP=\Lambda =\left(\begin{array}{rlrl}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right),则P中的(X_1,X_2,\cdots ,X_n)都是A的特征向量\\ & 且X_1,X_2,\cdots ,X_n都是A的特征向量，且X_1,\cdots ,X_n无关\end{array}$$

2.2 二次型

2.2.1 Hermite二次型定义

$$\begin{array}{rl}& 令A^H=A\in C^{n\times n}，X=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right),称X^{H}AX=\left(\overline{x_1},\overline{x_2},\cdots ,\overline{x_n}\right)A\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)\\ & 为矩阵A产生的二次型，记为f(x)=X^{H}AX\end{array}$$

2.2.2 正定二次型与正定阵定义

$$\begin{array}{rl}& 若A^H=A,对一切X\ne 0,有X^{H}AX>0,则f(x)=X^{H}AX为正定二次型，\\ & A为正定阵，记为A>0\\ & 若A^H=A,对一切X\ne 0，有X^{H}AX\ge 0,则f(x)=X^{H}AX为半正定二次型\\ & A为半正定阵，记为A\ge 0\end{array}$$

2.3 矩阵合同

$$\begin{array}{rl}若P^{H}AP& =B(P可逆),则A与B合同，记为A\stackrel{\Delta }{=}B\\ & 1.对称性:A\stackrel{\Delta }{=}B⟺B\stackrel{\Delta }{=}A\\ & 2.传递性:A\stackrel{\Delta }{=}B,B\stackrel{\Delta }{=}C⟺A\stackrel{\Delta }{=}C\end{array}$$

2.3.1 合同保正定

$$若A与B合同，且A是正定阵，则B也是正定阵$$

• 相似与合同都能生成新的矩阵，相似不保持正根，合同保持正根

证明：
$$\begin{array}{rl}& 由A\stackrel{\Delta }{=}B,且X^{H}AX>0，若证B为正定阵，即证存在可逆阵Y，使得Y^{H}BY>0\\ & 令Y=P^{-1}X，则X=PY,代入二次型XAX=(PY{)}^{H}A(PY)=Y^H{P}^{H}APY\\ & =Y^{H}BY>0\\ & \therefore B>0为正定阵\end{array}$$

2.3.2 对角正定阵一定合同于单位阵

2.4 正定阵

2.4.1 正定阵的定理

$$\begin{gathered} A>0⟺若A为Hermite阵，且{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n>0 \\ A\ge 0⟺若A为Hermite阵，且{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\ge 0 \end{gathered}$$

---

证明

$\Rightarrow$
$$\begin{gathered} 若A为正定阵，则A生成的二次型f(x)=X^{H}AX>0 \\ \therefore {\lambda }_i=\frac{X^{H}AX}{|X{|}^2}>0 \end{gathered}$$

$\Leftarrow$
$$\begin{array}{rl}& 由Hermite分解定理，A为Hermite阵，则存在U阵Q，\\ & 使得Q^{H}AQ=\Lambda =\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\\ & \therefore A\stackrel{\Delta }{=}\Lambda ,而{\lambda }_i>0，\Lambda 为正定阵，故A为正定阵\end{array}$$
单位阵是正定阵 ：${\lambda }_i=1$ 显然大于0

2.4.2 正定阵间必合同

1. $A>0⟺A\stackrel{\Delta }{=}\Lambda$
2. $\Lambda \stackrel{\Delta }{=}I$ 对角阵一定合同于单位阵
3. 若A,B为同阶正定阵，则 $A\stackrel{\Delta }{=}B$

证明1：
$$\begin{array}{rl}& 若A正定，则有A^H=A\\ & 由Hermite分解定理，必\exists U阵Q使得Q^{H}AQ=\Lambda ,且{\lambda }_i>0\end{array}$$
证明2：
$$\begin{array}{rl}若\Lambda & =\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right),其中{\lambda }_i>0\\ & \Rightarrow f(x)=X^H\Lambda X={\lambda }_1|x_1{|}^2+{\lambda }_2|x_2{|}^2+\cdots +{\lambda }_n|x_n{|}^2>0\\ & \Rightarrow 可分解为\Lambda =\left(\begin{array}{cccc}& \sqrt{{\lambda }_1}& & \\ & & \ddots & \\ & & & \sqrt{{\lambda }_n}\end{array}\right)I\left(\begin{array}{cccc}& \sqrt{{\lambda }_1}& & \\ & & \ddots & \\ & & & \sqrt{{\lambda }_n}\end{array}\right)\\ & =PIP\\ & 可知P可逆，且P^H=P,故P^{H}IP=\Lambda \\ & 即对角正定阵合同于单位阵，记为\Lambda \stackrel{\Delta }{=}I\end{array}$$
证明3：
$$\begin{array}{rl}& 由A>0,B>0,则A\stackrel{\Delta }{=}I,B\stackrel{\Delta }{=}I\Rightarrow A\stackrel{\Delta }{=}B\end{array}$$

2.4.3 正定阵分解

$A=P^{H}P$

$$定理：若A>0⟺A=P^{H}P(P可逆)=P{P}^H(P可逆)$$

$\Rightarrow$
$$\begin{array}{rl}& 若A是正定阵，则A必是Hermite阵，A的特征值是正实数\\ & 又\because 正定阵一定与单位阵合同，即A\stackrel{\Delta }{=}\Lambda =\sqrt{\Lambda }I\sqrt{\Lambda },\\ & 令P=\sqrt{\Lambda },可知P可逆，且P^H=P\\ & 得证结论，A>0\Rightarrow A=P^{H}P=P{P}^H\end{array}$$
$\Leftarrow$
$$\begin{array}{rl}& 若A=P^{H}P=P^{H}IP,由于P可逆，则A\stackrel{\Delta }{=}I>0,则A是正定阵\end{array}$$

$$\begin{array}{rl}& 由二次型X^{H}AX=X^H{P}^{H}PX=(PX{)}^H(PX)=|PX{|}^2>0,为正定二次型\\ & \therefore A是正定阵\end{array}$$

平方根定理

$$\begin{array}{rl}& A>0\Rightarrow \exists B>0,使得，A=B\bullet B=B^2\end{array}$$

证明：

1. $\exists B,使得A=B\bullet B$

$$\begin{array}{rl}& \because A>0，则A^H=A，由Hermite分解定理\Rightarrow 存在U阵Q，使得Q^{H}AQ=\Lambda \\ & =\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)={\left(\begin{array}{cccc}& \sqrt{{\lambda }_1}& & \\ & & \ddots & \\ & & & \sqrt{{\lambda }_n}\end{array}\right)}^2={\Lambda }^{\prime 2},({\lambda }_i>0)\\ & 而A=Q\Lambda Q^H=Q\sqrt{\Lambda }\sqrt{\Lambda }{Q}^H=Q\sqrt{\Lambda }{Q}^{H}Q\sqrt{\Lambda }{Q}^H\\ & 令B=Q\sqrt{\Lambda }{Q}^H，则A=B^2\end{array}$$

2. $B是正定Hermite阵$

$$\begin{array}{rl}& 由Hermite分解定理，\exists U阵Q，使得Q^{H}AQ=\Lambda =\\ & {\left(\begin{array}{cccc}& \sqrt{{\lambda }_1}& & \\ & & \ddots & \\ & & & \sqrt{{\lambda }_n}\end{array}\right)}^2={\Lambda }^{\prime 2},{\Lambda }^{\prime }=\sqrt{\Lambda }>0,为正定阵\\ & 已知Q^H\sqrt{\Lambda }Q=B,即B\stackrel{\Delta }{=}\sqrt{\Lambda }>0,B为正定阵\end{array}$$

平方根公式

$$\begin{array}{rl}& B=\sqrt{A}=Q\left(\begin{array}{cccc}& \sqrt{{\lambda }_1}& & \\ & & \ddots & \\ & & & \sqrt{{\lambda }_n}\end{array}\right)Q^H\end{array}$$

2.4.4 乘积形式的正定阵

$$\begin{array}{rl}& 1.对一切矩阵A=A_{n\times p}且n\ge p，A^{H}A与A{A}^H都是Hermite阵\\ & 2.A^{H}A与A{A}^H只相差n-p个0根\\ & 3.A^{H}A\ge 0,A^{H}A\ge 0\\ & 4.r(A^{H}A)=r(A{A}^H)=r(A)\end{array}$$

---

$A^{H}A$ 为Hermite阵

$$\begin{array}{r}(A^{H}A{)}^H=A^{H}A，且(A{A}^H{)}^H=A{A}^H，则A^{H}A与A{A}^H为Hermite阵\end{array}$$

$A^{H}A与A{A}^H$ 只相差n-p个0根

$$\begin{array}{rl}& A=A_{n\times p},B=p\times n,且n\ge p\\ & 由换位公式|\lambda I-AB|={\lambda }^{n-p}|\lambda I-BA|,\\ & 则AB与BA必有相同的非零根，故A^{H}A与A{A}^H只相差n-p个零根\end{array}$$

$A^{H}A与A{A}^H$ 是半正定阵

$$\begin{array}{rl}& 对任意非零向量X，有二次型f(x)=X^H{A}^{H}AX=(AX{)}^H(AX)=|AX{|}^2\ge 0,\\ & 可知f(x)为半正定二次型，A^{H}A为半正定阵\end{array}$$

$r(A{A}^H)=r(A^{H}A)=r(A)$

$$\begin{array}{rl}& 由A^{H}A为半正定阵，则A^{H}A与A{A}^H都只有非负根\\ & 可写为\lambda (A^{H}A)=\{{\lambda }_1,{\lambda }_2,...{\lambda }_p\}\ge 0\\ & 由换位公式，知\lambda A^{H}A与\lambda A{A}^H只相差n-p个零根\\ & \therefore \lambda (A{A}^H)=\{{\lambda }_1,{\lambda }_2,...,{\lambda }_p,0,0,...,0\}\ge 0\\ & r(A^{H}A)=r(A{A}^H)=p=r(A)=r(A^H)\end{array}$$

$$\begin{array}{rl}& 齐次方程组AX=0,A^{H}AX=0，解集相同(同解)\\ & 若(A^{H}A)X=0成立，则|AX{|}^2=(AX{)}^H(AX)=X^H{A}^{H}AX=(AX{)}^2=0\\ & \therefore AX=0,r(A^{H}A)=r(A)\end{array}$$

2.4.5 矩阵的秩

1. 若 $A=A_{n\times p},n>p$ ，(列满秩)，即 $r(A)=p\le n$

   $r(A^{H}A)=p=r(A)=r(A{A}^H)$

   $r(A)=r(A^H)=r(\overline{A})$

2. $r(AB)<min\{r(A),r(B)\}$