矩阵论 - Part I

矩阵论 - Part I

概念索引

1 行列式, Laplace定理(展开), Gramer法则, 齐次线性方程组
2 同型矩阵, 矩阵转置, 矩阵共轭, 反对称矩阵, 伴随矩阵, 逆矩阵, 分块矩阵, 子式, 余子式, 秩
3 线性变换, 等价矩阵, 初等矩阵, 矩阵迭代法

1 线性基础

矩阵3大特点:

1. 矩阵是线性的
2. 矩阵是离散的
3. 矩阵是代数和几何交融的

行列式

$n$阶行列式$D$的值为
$$D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|=\sum _{t=0}^{n!}(-1{)}^t{a}_{1p_1}{a}_{2p_2}\cdots a_{n{p}_n}$$
其中$(p_1,p_2,\cdots ,p_n)$是$(1,2,\cdots ,n)$的一个排列, $t$为该排列的逆序数.

行列式的性质

性质1: $D^T=D=det(a_{ij})$

性质2: 更换行列式的行(或列), 行列式变号
推论: 若行列式两行(或列) 完全相同, 则行列式为$0$

性质3: 行列式某行(或列)乘以一个系数$k$, 则行列式的值变为原来的$k$倍
推论: 行列式的行(或列)有相同公因子, 则可提到行列式前

性质4: 行列式的某行(或列)的元素为两数之和, 则可认为是两个行列式之和

性质5: 行列式中某两列(或行)成比例, 则行列式的值为$0$

性质6: 把行列式中的一行(或一列)乘以一个系数加到另一行(或一列), 行列式的值不变

Laplace定理: 行列式的另一展开定理

Laplace定理是更加广义的行列式展开定理, 需要用到两个概念:

1. 余子式
2. 代数余子式

Gramer法则

对于线性方程组$Dx=b$, 若$D\ne 0$, 则方程组有唯一解:
$$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\cdots ,x_n=\frac{D_n}{D}$$
其中
$$D_j=\left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1,j-1}& b_1& a_{1,j+1}& \cdots & a_{1n}\\ a_{21}& \cdots & a_{2,j-1}& b_1& a_{2,j+1}& \cdots & a_{2n}\\ ⋮& & ⋮& ⋮& ⋮& & ⋮\\ a_{n1}& \cdots & a_{n,j-1}& b_1& a_{n,j+1}& \cdots & a_{nn}\end{array}\right|j=1,2,\cdots ,n$$
如果线性方程组无解或有两个不同的解, 则起系数行列式$D=0$.

齐次线性方程组的解: 非零解的存在性

• 如果线性方程组$Dx=b$中, $b=0$, 则称该方程组为齐次线性方程组, 此时$\mathbf{x}=0$为该方程组的一个解, 称零解; 若齐次线性方程组存在非零解, 则必有$D=0$. 即$D=0$是齐次线性方程组有非零解的充要条件.
• 此外, 齐次线性方程组的非零解必定是无穷多解

2 矩阵代数

基本概念:

• 矩阵
• n阶方阵
• 列矩阵(1维向量)
• 1行n列的矩阵称为行阶方阵
• 零矩阵
• 同型矩阵, 行列数相等的矩阵
• 相等矩阵, 对应元素相等的同型矩阵

广义上, 矩阵是一个线性变换

• 线性变换(矩阵是一个变换, 且是线性变换)
• 恒等变换: 单位矩阵
• 对角变换: 对角矩阵

矩阵运算

• 矩阵加法 (必须为同型矩阵)
• 数乘运算 (和行列式区别开, 矩阵乘以一个数, 等于矩阵中的每个元素乘以该数)
• 矩阵乘法: 矩阵$A$乘以矩阵$B$, 必须满足 $A$列数=$B$行数; 一般矩阵乘法不满足交换律; 矩阵乘法满足结合律
• 幂运算
• 矩阵转置
  - 性质1: 主对角元素不变
  - 性质2: $(A^T{)}^T=A$
  - 性质3: $(A+B{)}^T=A^T+B^T$
  - 性质4: : $(kA{)}^T=k{A}^T$
  - 性质5: $(AB{)}^T=B^T{A}^T$
• 共轭矩阵: 若矩阵$A=(a_{ij})$元素为复数, $$\overline{A}=(\overline{a_{ij}})$$称为矩阵$A$的共轭矩阵
  - 性质1: $\overline{\overline{A}}=A$
  - 性质2: $\overline{A+B}=\overline{A}+\overline{B}$
  - 性质3: $\overline{kA}=\overline{k}\overline{A}$
  - 性质4: $\overline{AB}=\overline{A}\overline{B}$

对称矩阵和反对称矩阵

若$A^T=A$, 则称$A$为对称矩阵, 若$A^T=-A$, 则称$A$为反对称矩阵
推论: 任意方阵$A$可以写成对称矩阵和反对称矩阵之和, 具体有$$A=\frac{1}{2}(A+A^T)+\frac{1}{2}(A-A^T)$$
显然, 右边的两项分别是对称矩阵和反对称矩阵.

方阵行列式

方阵元素构成的行列式, 记为$|A|$或$detA$
性质:

• $det{A}^T=detA$
• $det(kA)=k^{n}detA$
• $det(AB)=detAdetB$

伴随矩阵

由行列式$detA$各元素组成的代数余子式$A_{ij}$构成的矩阵的转置$A^{\ast }=(A_{ij}{)}^T$称为$A$的伴随矩阵, $$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& & ⋮\\ A_{1n}& A_{n2}& \cdots & A_{nn}\end{array}\right]=(A_{ij}{)}^T$$
- 性质1: $A^{\ast }A=A^{\ast }A=|A|E$
- 性质2: $A$可逆, 当且仅当$A^{\ast }$可逆
- 性质3: 若$A$可逆, 则$(A^{-1}{)}^{\ast }=(A^{\ast }{)}^{-1}$

逆矩阵: 对于$n$阶方阵

逆矩阵存在则唯一

矩阵$A$可逆, 当且仅当$|A|\ne 0$, 且 $$A^{-1}=\frac{A^{\ast }}{|A|}$$ 式中$A^{\ast }$为伴随矩阵

$|A|=0$时, $A$称奇异矩阵, $|A|\ne 0$时, 称非奇异矩阵, 非奇异矩阵存在逆矩阵.

逆矩阵的性质

• 可逆矩阵的逆矩阵可逆, 且为原矩阵
• $A$可逆且$k\ne 0$, 则 $$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$$
• $A$可逆则$A^T$可逆, 且有 $$(A^T{)}^{-1}=(A^{-1}{)}^T$$
• $A,B$为同阶矩阵且可逆, 则$AB$可逆, 且有 $$(AB{)}^{-1}=B^{-1}{A}^{-1}$$
• 矩阵和逆矩阵的行列式互为倒数
• 可逆对称矩阵的逆矩阵是对称矩阵, 可逆反对称矩阵的逆矩阵也是反对称矩阵
• $|A|\ne 0$, 定义 $$\{\begin{array}{rl}& A^0=E,\\ & A^{-k}=(A^{-1}{)}^k\end{array}$$

分块矩阵

若分块矩阵呈对角化, 则可以通过求对角线上的分块矩阵的逆, 来求矩阵的逆.

$k$阶子式

$k$阶子式: 任取$m\times n$阶矩阵中的$k$行, $k$列$(k\le m,k\le n)$位于行列式交叉处的$k^2$个元素, 不改变相对位置而得到的$k$阶行列式, 称为$A$的$k$阶子式, 共有$C_m^k{\dot{C}}_n^k$个$k$阶子式

矩阵的秩

设矩阵$A$中有一个不等于0的$r$阶子式$D$, 且所有$r+1$阶子式全为0, 则称$r$是矩阵$A$的秩, 记为$R(A)$
矩阵在初等变换中, 秩保持不变, 即如果$A\sim B$, 则$$R(A)=R(B)$$

求矩阵的秩:

对矩阵进行初等行变换为行阶梯矩阵, 则行阶梯矩阵中非0元素的行数即为次矩阵的秩

矩阵方程: 讨论$Ax=b$的系数矩阵和增广矩阵和方程解的关系
齐次矩阵方程

n元齐次矩阵方程$Ax=0$有非零解的充要条件是矩阵$A$的秩$R(A)<n$,其中$A$为$m\times n$矩阵. 这是对Gramer法则的推广, 因为Gramer法则仅适用于$m=n$的情况.

非齐次矩阵方程

n元非齐次矩阵方程 $Ax=b$ 有非零解的充要条件是矩阵$A$与增广矩阵$[Ab]$的秩相等, 其中$A$为$m\times n$矩阵.

$n$维向量

线性组合, 基, 线性相关, 线性无关,

3 线性方程组

  可以通过Gramer法则和求矩阵的逆两种方式求解线性方程组, 但矩阵求逆计算量过大, Gramer法则无法求解$D=0$时的方程, 因此需要讨论其他方法.

等价矩阵

两个$m\times n$阶矩阵$A$和$B$, 如果存在可逆矩阵$P,Q$, 满足$B=QAP$, 那么称矩阵$A,B$等价, 记为$A\sim B$, 即$A$经过有限次初等变换得到$B$.

初等矩阵

由单位矩阵$E$经过一次初等变换得到的矩阵称为初等矩阵, 三种基本初等变换对应三种不同的初等矩阵:
(1) 两行对调, 或两列对调 – 换法矩阵
(2) 用非零数c乘以矩阵的某一行 – 倍法矩阵, 特点是$(i,i)$元为$c$
(3) 将矩阵的第$j$行乘非零数$k$, 加到第$i$行 – 消法矩阵, 特点是$(i,j)$元为$k$

初等行变换和初等列变换

设$A$为$m\times n$阶矩阵, 对$A$作初等行变换等于左乘$m$阶初等矩阵, 对$A$作初等列变换相当于右乘$n$阶初等矩阵.

一切线性变换都可以用矩阵表示

设$A$为可逆矩阵, 则存在有限个初等矩阵$P_1,P_2,\cdots ,P_l$使得$$A=P_1{P}_2\cdots P_l$$

$m\times n$ 阶矩阵$A\sim B$的充要条件是$$PAQ=B$$式中, $P$为$m$阶矩阵, $Q$为$n$阶矩阵.

利用初等变换求逆

将可逆矩阵$n$阶$A$和$n$阶单位矩阵$E$组合为$n\times 2n$阶矩阵$[AE]$, 对该矩阵进行初等行变换, 将$A$变为$E$, 则原来$E$的位置就变为了$A^{-1}$.

上述方法可以推广到求$A^{-1}B$, 即只要对$[AB]$进行初等行变换, 当$A$变为$E$时, $B$的位置即变为$A^{-1}B$

齐次线性方程组的基础解系

解向量, 满足$Ax=0$的向量$\xi$

解向量构成的集合, 对于加法和数乘运算封闭, 构成解空间

解空间的维度: $n-R(A)$

解空间的一组基, 称为齐次方程的基础解系, 基础解系的线性组合形式称为方程的通解

$(A^{T}A)x=0$和$Ax=0$方程同解$\to$$R(A^{T}A)=R(A)$

非齐次线性方程组的解

设${\eta }_1$和${\eta }_2$是$Ax=b$的解, 则${\eta }_1-{\eta }_2$是$Ax=0$的解

设$\eta$是非齐次线性方程组的解, $\xi$是齐次线性方程组的解, 则$\eta +\xi$是非齐次线性方程组的解

矩阵迭代法

考虑矩阵方程 $$Ax=b$$ 设 $$A=B-C$$ 其中$B$为非奇异矩阵, 则原矩阵方程可以写成 $$Bx=b+Cx$$ 迭代形式可以写成 $$B{x}^{k+1}=C{x}^k+b$$ 更进一步 $$x^{k+1}=L{x}^k+b$$ 其中 $L=B^{-1}C$, 上述迭代法收敛的条件是 $$\underset{k\to \infty }{\lim }{x}^k=x$$ 根据迭代公式有 $$x^{(k)}-x=L^k(x^{(0)}-x)\to 0$$ 因为$x^{(0)}$可以使任意初值, 因此, 必有$$\underset{k\to \infty }{\lim }{L}^k=0$$

Gauss-Seidel迭代

$B=D-E,C=F$, 其中$D$为对角矩阵$E$为下三角矩阵, $F$为上三角矩阵

Jacobi迭代

$B=D,C=E+F$, 其中$D$为对角矩阵$E$为下三角矩阵, $F$为上三角矩阵

Newton迭代

一种迭代求逆矩阵的迭代算法, 迭代公式为 $$x_{k+1}=x_k(2E-A{x}_k)$$