矩阵论总结

第一章

集合与映射

集合

假子集合（当然子集合）：本身和空集合

真子集合（非当然子集合）：其他子集合

相等：元素完全相同，$S_1=S_2$

交：属于集合$S_1$也属于集合$S_2$的元素组成的集合，$S_1\cap S_2=\{x|x\in S_1且x\in S_2\}$

并：属于集合$S_1$或属于集合$S_2$的元素组成的集合，$S_1\cup S_2=\{x|x\in S_1或x\in S_2\}$

和：$S_1+S_2=\{x+y|x\in S_1,y\in S_2\}$

映射

映射$\sigma :S\to S^{\prime }$，$S$中的每个元素（原象|象源）都能在$S^{\prime }$中找到对应的元素（象）。$S$到自身的映射通常也叫做$S$到自身的变换。

相等：两个映射都是$S\to S^{\prime }$，且$\forall a\in S,{\sigma }_1(a)={\sigma }_2(a)$，则称${\sigma }_1={\sigma }_2$。

乘积：$(\tau \sigma )(a)=\tau (\sigma (a))$，满足结合律但是不满足交换律。

线性空间

基本知识

数域$K$，非空集合$V$，在$V$中定义加法运算和数乘运算（统称$V$的线性运算），且满足以下条件，则称$V$是$K$上的线性空间（向量空间）。$K$是实数域的话，$V$叫做实线性空间，复数同理。

加法运算满足：封闭且唯一、交换律、结合律、存在零元素（唯一，反证）、存在负元素（唯一，反证）。

数乘运算满足：封闭且唯一、数因子分配律、分配律、结合律、1乘（$1x=x$）

基与坐标

注意基统一用列向量来表示。坐标也是列向量。

过渡矩阵$C$：$\left(\begin{array}{c}{y}_1,y_2,\cdots ,y_n\end{array}\right)=\left(\begin{array}{c}{x}_1,x_2,\cdots ,x_n\end{array}\right)C$

线性子空间

生成子空间：$L(x_1,x_2,\cdots ,x_n)$

矩阵的值域和零空间

• 矩阵$A\in R^{m\times n}$的值域是指列空间，列向量生成的子空间，记作$R(A)$，维数和A的秩相同。
• 矩阵A的行空间，可以用$R(A^T)$表示，维数和A的秩相同。
• 矩阵A的零空间（核空间）是指$Ax=0$的解空间，记作$N(A)$，维数$n(A)$称作零度，有$rank(A)+n(A)=n,rank(A^T)+n(A^T)=m$。

子空间的交与和

空间维数公式：$\dim V_1+\dim V_2=\dim (V_1+V_2)+\dim (V_1\cap V_2)$

线性变换

基本知识

对线性运算封闭：$T(kx+ly)=kTx+lTy$

线性变换的值域：所有向量的象形成的集合$R(T)=\{Tx|x\in V\}$

线性变换的核：所有被$T$变为零向量的原象构成的集合$N(T)=\{x|Tx=0,x\in V\}$

注意线性变换不可交换：$T_1{T}_2\ne T_2{T}_1$

矩阵表示：$(T{x}_1,T{x}_2,\cdots ,T{x}_n)=(x_1,x_2,\cdots ,x_n)A$。注意线性变换的矩阵表示和选择哪一组基有关，不同基下的矩阵是相似的，也就是$B=C^{-1}AC$。

特征值和特征向量

$Tx=\lambda x$

在一组基下就是：$A\xi =\lambda \xi \to (\lambda I-A)\xi =0\to \det (\lambda I-A)=0$

矩阵$A$的所有特征值的和等于$A$的迹，而$A$的全体特征值的乘积等于$\det A$：$tr(A)={\sum }_{i=1}^n{a}_{ii}={\sum }_{i=1}^n{\lambda }_i,\det A={\prod }_{i=1}^n{\lambda }_i$

迹的特殊性质：$tr(AB)=tr(BA)$

$n$阶矩阵一定相似于三角矩阵：$P^{-1}AP$，$P$由特征向量组成。

Hamilton-Cayley：$n$阶矩阵$A$是其特征多项式的矩阵根。

不同特征值的特征向量线性无关。

可以化为对角矩阵的充要条件：有$n$个线性无关的特征向量。

Jordan标准型

基于复矩阵：$P^{-1}AP=J$

因式$(\lambda -{\lambda }_i{)}^{m_i}$对应的Jordan块：
$$\left(\begin{array}{ccccc}{\lambda }_i& 1& & & \\ & {\lambda }_i& 1& & \\ & & {\lambda }_i& \ddots & \\ & & & \ddots & 1\\ & & & & {\lambda }_i\end{array}\right)$$
注意${\lambda }_i$的重数不一定是$m_i$

特征矩阵：$\lambda I-A$

不变因子：通过初等变换把特征矩阵变成对角的（只用列变换即可），对角元素叫做不变因子。

初等因子：把次数大于0的不变因子分解为不可约因式的乘积，连带它们的幂次一起叫做初等因子。

求解Jordan标准型：

把每个初等因子对应的Jordan块拼一起就是矩阵的Jordan标准型。要求解$P$的话需要解非齐次线性方程组，在一般情况下，如果${\lambda }_1$是$A$的$k$重特征值，则$x_1,x_2,\cdots ,x_k$可由解下面各方程组获得：
$$\begin{gathered} ({\lambda }_{1}I-A)x_1=0 \\ ({\lambda }_{1}I-A)x_i=-x_{i-1} \end{gathered}$$

也就是：$A(x_1,x_2,\cdots ,x_k)=(x_1,x_2,\cdots ,x_k)J$

化矩阵为Jordan标准形，实际上就是适当选择线性空间的基或坐标系，使得在新坐标系之下，问题的数学形式最为简单，从而便于研究。

欧氏空间和酉空间

欧氏空间

基本知识

• 实数域
• 线性空间
• 存在内积$(x,y)$满足：交换律、分配律、齐次性和非负性
• 柯西不等式：$|(x,y)|<|x||y|$
• 由内积引出向量夹角的概念：$\cos <x,y>=\frac{(x,y)}{|x||y|}$，夹角定义在$[0,\pi ]$

度量矩阵

$$A=(a_{ij}{)}_{n\times n}=\left(\begin{array}{ccc}(x_1,x_1)& \cdots & (x_1,x_n)\\ (x_2,x_1)& \cdots & (x_2,x_n)\\ ⋮& & ⋮\\ (x_n,x_1)& \cdots & (x_n,x_n)\end{array}\right)$$

称为这个空间对于基$x_1,x_2,\cdots ,x_n$的度量矩阵（Gram矩阵），注意度量矩阵是对称且正定的。

可以通过$(x,y)=x^{T}Ay$来计算任意两向量的内积。

矩阵合同

不同基的度量矩阵是合同的。假设两组基的过渡矩阵是$C$，即$(y_1,y_2,\cdots ,y_n)=(x_1,x_2,\cdots ,x_n)C$，那么度量矩阵存在$B=C^{T}AC$的关系，也就是矩阵合同。

注意线性变换在不同基下的矩阵是相似的。

正交

定义：欧氏空间，$(x,y)=0$，称为正交或垂直。

• 一组两两正交的非零向量称作正交向量组。
• 标准正交基是单位长度的。
• 构造标准正交基使用Schmidt正交化。（作业题中有）

Schmidt正交化（正交单位化）：

• 对$x_1$单位化
• $x_2-(x_2,x_1^{\prime })x_1^{\prime }$，再单位化
• 接下来对于每个基向量都去掉投影到前面正交化过的投影分量，再单位化。（全部在最后单位化也可以，没那么多分数会好算一点）

正交补空间：$V^n=V_1\oplus V_1^{\perp }$，直和是指交为零子空间。求齐次线性方程组的解（$Ax=0$）就是求行向量生成子空间（$R(A^T)$）的正交补空间（$N(A)$）。

正交变换和正交矩阵

• 正交变换：保持任意向量的长度不变的变换，$(Tx,Tx)=(x,x)$。$T$是正交变换的充要条件是：$(Tx,Ty)=(x,y)$
• 正交矩阵：实方阵$Q$满足$Q^{T}Q=I$，称作正交矩阵。充要条件是列向量是两两正交的单位向量。性质有：正交矩阵可逆；逆矩阵也是正交矩阵；正交矩阵的乘积仍是正交矩阵。
• 两者的关系：正交变换在标准正交基下的矩阵是正交矩阵。（充要条件）

第二章

向量范数

• 非负性
• 齐次性
• 三角不等式

矩阵范数

$A_{m\times n}$

• 非负性
• 齐次性
• 三角不等式：$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$
• （同类矩阵范数）相容性：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$

m范数

• $m_1$范数：所有元素绝对值之和
• $m_2$范数/F范数：所有元素绝对值平方之和开根号，$=(tr(A^{H}A){)}^{\frac{1}{2}}$
• $m_{\infty }$范数：n倍所有元素绝对值最大值

从属范数

• 1范数/列和范数：注意是绝对值之和
• 2范数/谱范数：$A^{H}A$的模最大特征值开根号
• $\infty$范数/行和范数：注意是绝对值之和

矩阵范数和向量范数相容

$\Vert Ax{\Vert }_V\le \Vert A{\Vert }_M\Vert x{\Vert }_V$

一种矩阵范数可以和多个向量范数相容（至少一个），反之亦可。

范数等价

• 同一个矩阵空间中的任意矩阵范数都是等价的

证明是范数

• 证明非负，且只有0时范数为0
• 证明齐次性，注意绝对值
• 证明三角不等式，和的范数小于等于范数的和

矩阵可逆

如果对于某种矩阵范数$\Vert \Vert$，有$\Vert A\Vert <1$，那么矩阵$I-A$可逆，且有：

$\Vert (I-A{)}^{-1}\Vert \le \frac{\Vert I\Vert }{1-\Vert A\Vert }$

$\Vert I-(I-A{)}^{-1}\Vert \le \frac{\Vert A\Vert }{1-\Vert A\Vert }$

条件数

$cond(A)=\Vert A\Vert \Vert A^{-1}\Vert$，是求矩阵逆的摄动的一个重要量，一般来说，条件数越大，$(A+\delta A{)}^{-1}$和$A^{-1}$的相对误差就越大。

谱半径

方阵A模最大特征值的模：$\rho (A)=\max |\lambda |$

谱半径小于等于所有A的范数值

一般来说，谱半径$\rho (A)$和谱范数$\Vert A{\Vert }_2$可能相差很大

第三章

矩阵序列

• 收敛性：一个矩阵序列收敛到A
• 收敛矩阵：$A^k$这个矩阵序列收敛到0矩阵，称A是收敛矩阵。是收敛矩阵的充要条件是，$\rho (A)<1$

矩阵级数

矩阵级数是指无穷多个有序同阶矩阵之和。

矩阵函数

以矩阵为自变量且取值为矩阵。

$f(A)=P\cdot diag(f(J_1),f(J_2),\cdots ,f(J_s))P^{-1}$

若$AB=BA$，则$e^A{e}^B=e^B{e}^A=e^{A+B}$

$\det (e^A)=e^{trA}$

矩阵导数和积分

矩阵对一个变量的导数就是每个元素对变量的导数，积分也是。

函数对矩阵的导数是函数对矩阵每个元素的导数。

第四章

三角分解（待补全）

将方阵分解为下三角矩阵和上三角矩阵的乘积。可进行三角分解的充要条件是：顺序主子式均不等于0。

LDU分解

Crout分解

Doolittle分解

Cholesky分解

正交三角分解

将方阵分解为正交矩阵和上三角矩阵的乘积。

方阵的QR分解

Schimidt正交化方法

• 对列向量组进行正交化

Givens变换

$T_{i,j}=\left(\begin{array}{ccc}\cos (\theta )& \sin (\theta )& 0\\ -\sin (\theta )& \cos (\theta )& 0\\ 0& 0& I\end{array}\right)$

Householder变换

$dx=x-Hx\to u=dx/|dx|\to H=I-2u{u}^T$

长方阵的QR分解

满秩分解

矩阵分解为列满秩矩阵和行满秩矩阵的乘积，$A=FG$。

逆矩阵方法

• $[A|I]$通过行变换变为$[B|P]$，B为阶梯型矩阵
• F为$P^{-1}$的前r列，G为B的前r行

Hermite标准形方法

• A通过行变换变为B，其中B为Hermite标准形，且B的$j_1,j_2,\cdots ,j_r$列为单位矩阵的前r列
• 取F为A的$j_1,j_2,\cdots ,j_r$列，G为B的前r行。

奇异值分解

$A\in C^{m\times n}$

奇异值是指Hermite矩阵$A^{H}A$的特征值的算术平方根。

$A=UD{V}^H$，其中U、V是酉矩阵（$U^{H}U=U{U}^H=I$）。

正交相抵：存在酉矩阵使得$A=UB{V}^H$

步骤：

• 先求V，$V^H(A^{H}A)V=diag({\lambda }_1,\cdots ,0)$
• 再求$U_1=A{V}_1{\Sigma }^{-1}$，其中$V_1$是V的前r列。
• 扩充$U_1$为$C^m$一组标准正交基。

第五章

Rayleigh商

常义Rayleigh商：$R(x)=\frac{x^{H}Ax}{x^{H}x}$

广义Rayleigh商：$R(x)=\frac{x^{H}Ax}{x^{H}Bx}$，其中B是正定矩阵

性质：

• $R(x)$是x的连续函数
• $R(x)$是x的零次齐次函数：$R(\lambda x)=R(x)$
• $R(x)$的最大值和最小值存在，而且都是在单位球面上达到。因此考虑$R(x)$的极性时，可以只在$\Vert x{\Vert }_2=1$上考虑。

若A为实对称矩阵，则${\min }_{x\ne 0}R(x)=\min \lambda ,{\max }_{x\ne 0}R(x)=\max \lambda$

盖尔圆

行\列盖尔圆半径是那一行\列的元素绝对值之和。

隔离矩阵特征值：

• 写出A的行盖尔圆和列盖尔圆，要是刚好孤立，那就是隔离开的
• 构造对角矩阵D，想让第i个盖尔圆变小，就令$d_i<1$，其他还是1
• $B=DA{D}^{-1}=(a_{ij}\frac{d_i}{d_j}{)}_{n\times n}$，再判断行\列盖尔圆孤立了没，不然继续。

广义特征值

$Ax=\lambda Bx$，A、B都是自共轭矩阵（Hermite矩阵），其中B正定。

三种解法：

• 直接解$(\lambda B-A)x=0$
• 转为常义特征值问题：$(B^{-1}A)x=\lambda x$
• 利用Cholesky分解，通过令$B=G{G}^H,x=(G^{-1}{)}^{H}y,S=G^{-1}A(G^{-1}{)}^H$，使得问题转化为$Sy=\lambda y$

第六章

广义逆的定义

1. $AXA=A$
2. $XAX=X$
3. $(AX{)}^H=AX$
4. $(XA{)}^H=XA$

极小范数解和极小范数二乘解

极小范数解：若$Ax=b$有解，$\Vert x_0{\Vert }_2={\min }_{Ax=b}\Vert x{\Vert }_2$

极小范数二乘解：若$Ax=b$无解，$\Vert x_0{\Vert }_2={\min }_{\min \Vert Ax-b{\Vert }_2}\Vert x{\Vert }_2$

构造{1}逆和{1，2}逆

• $[A|I]$通过行变换变为$[B|Q]$，B为Hermite标准形，即$QA=B$
• 构造置换矩阵P（交换单位矩阵的列向量）使得，$QAP=BP=\left(\begin{array}{cc}{I}_r& K\\ 0& 0\end{array}\right)$
• {1}逆可构造为：$X=P\left(\begin{array}{cc}{I}_r& 0\\ 0& L\end{array}\right)Q$，其中L为任意矩阵
• {1，2}逆可构造为：$X=P\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)Q$

广义逆矩阵计算

满秩分解

• $A=FG$
• $F^{+}=(F^{H}F{)}^{-1}{F}^H$
• $G^{+}=G^H(G{G}^H{)}^{-1}$
• $A^{+}=G^{+}{F}^{+}=G^H(F^{H}A{G}^H{)}^{-1}{F}^H$

奇异值分解

• $A=U\left(\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right)V^H$
• $A^{+}=V\left(\begin{array}{cc}{\Sigma }^{-1}& 0\\ 0& 0\end{array}\right)U^H$

利用{1}逆的Zlobec公式

$A^{+}=A^H(A^{H}A{A}^H{)}^{(1)}{A}^H$，虽然$(A^{H}A{A}^H{)}^{(1)}$不唯一，但Morre-Penrose逆是唯一的。

Greville方法

• $d_k=A_{k-1}^{+}{a}_k$
• $c_k=a_k-A_{k-1}{d}_k$
• $b_k^H=c_k^{+},c_k\ne 0;b_k^H=(1+d_k^H{d}_k{)}^{-1}{d}_k^H{A}_{k-1}^{+},c_k=0$
• $A_k^{+}=\left(\begin{array}{c}{A}_{k-1}^{+}-d_k{b}_k^H\\ b_k^H\end{array}\right)$

构造{1，2，3}逆和{1，2，4}逆

• $A=FG$
• $G^{(1/2/4)}{F}^{(1)}\in A\{1/2/4\}$
• $G^{(1)}{F}^{(1/2/3)}\in A\{1/2/3\}$
• $G^{(1)}{F}^{+}\in A\{1,2,3\}$
• $G^{+}{F}^{(1)}\in A\{1,2,4\}$
• $A^{+}=G^{+}{F}^{(1,3)}=G^{(1,4)}{F}^{+}$

方程求解

• $Ax=b$有解的充要条件是：$A{A}^{(1)}b=b$，相容
• 若有解，通解为：$x=A^{(1)}b+(I-A^{(1)}A)y$，y是任意向量
• 若有解，则极小2-范数解为：$x_0=A^{+}b$，唯一
• 若无解，则极小2-范数最小二乘解为：$x_0=A^{+}b$，唯一