【矩阵论】矩阵基本概念 + 矩阵广义逆

参考：
矩阵的逆：https://zhuanlan.zhihu.com/p/163748569
矩阵可逆的几个充要条件：https://zhuanlan.zhihu.com/p/334822347
广义逆（Generalized Inverses）：https://zhuanlan.zhihu.com/p/52908955
有用的文章：
矩阵的基础知识与公式（转置，逆，迹，行列式）
https://blog.csdn.net/weixin_43977640/article/details/109710037

• “正宗”的逆又叫凯利逆，唯一。（为什么叫凯利逆，在学习平差时老师叫法，原因笔者不知）
• 广义逆之减逆，不唯一。AGA=A，G为减逆
• 广义逆之加逆，唯一，是对减逆的约束，使得在无穷多减逆中找一个加逆使得其满足一定的条件。

一、矩阵基础

1. 一句话概念

• 初等矩阵：是指由单位矩阵经过一次初等变换得到的矩阵
• 阶梯型矩阵是矩阵的一种类型。它的基本特征是：所给矩阵为行阶梯型矩阵，则矩阵中每一行的第一个不为零的元素的左边及其所在列以下全为零。
• 齐次线性方程组：指的是常数项全部为零的线性方程组
• 非齐次线性方程组：常数项不全为零的线性方程组。关于齐次方程组和非齐次方程组的叫法可以这样理解：齐次指的是方程中所有项的次数都是一样的。我们知道常数项的次数为0，线性方程组中未知数的次数都是1；如果存在常数项，那么就存在一个次数为0的项，与其他项的次数1不一致，所以就不齐。因此，存在常数项的线性方程组称为非齐次线性方程组。
• 矩阵的迹：在线性代数中，一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。迹是所有特征值的和，矩阵的迹服从交换律，矩阵的迹和它转置矩阵的迹相等。迹运算和期望运算可以交换顺序。
• 奇异阵：对应的行列式等于0的方阵
• 相容方程组：方程组Ax=b有解，则称此方程组为相容方程组
• 最小范数解：设方程组Ax=b有解，将所有解中范数最小的解称为最小范数解
• 代数余子式：在n阶行列式中，把元素 $a_{ij}$ 所在的第$i$行和第$j$列划去后，留下来的n-1阶行列式叫做元素 $a_{ij}$ 的余子式，记作 $M_{ij}$，将余子式 $M_{ij}$ 再乘以-1的 $i+j$ 次幂记为 $A_{ij}$，$A_{ij}$ 叫做元素 $a_{ij}$ 的代数余子式。
• 伴随矩阵：方阵A的各元素的代数余子式构成的矩阵称为伴随矩阵。
• 增广矩阵：（又称扩增矩阵）就是在系数矩阵的右边添上一列，这一列是线性方程组的等号右边的值。
• 任何可逆矩阵都可以表示成若干个初等矩阵的乘积
• 相抵：如果B可以由A经过一系列初等变换得到（或：若存在可逆矩阵P和Q，使得PAQ=B），则称矩阵A与B称为相抵。记作 $A\cong B$
• 相合：对于两个矩阵A和B，如果存在可逆矩阵C，使得 $C^{T}AC=B$ ，就称A合同（相合）于B，记作 $A\simeq B$
• 相似：对于两个矩阵A和B，若存在可逆矩阵P，使得 $P^{-1}AP=B$ ，就称A相似于B，记作 $A\sim B$
• 相抵、相合与相似都是一种等价关系，它们都满足反身性、对称性和传递性。抵合似，210，任转逆.

2. 初等变换

初等变换是三种基本的变换（哪三种，不知。狗头）初等变化包括：线性方程组的初等变换，行列式的初等变换和矩阵的初等变换。这三者在本质上是一样的。

线性方程组的初等变换

所谓一般线性方程组，是指形式为：

一般采用消元法来解线性方程组，而消元法实际上是反复对方程进行变换，而所做的变换也只是以下三种基本的变换所构成：

• （1）用一非零的数乘以某一方程
• （2）把一个方程的倍数加到另一个方程
• （3）互换两个方程的位置

行列式的初等变换

• 1）换行变换：交换两行（列）。（行列式反号）
• 2）倍法变换：将行列式的某一行（列）的所有元素同乘以数k。（行列式变为原来的k倍）
• 3）消法变换：把行列式的某一行（列）的所有元素乘以一个数k并加到另一行（列）的对应元素上。（行列式保持不变）
  性质：
• 性质1：行列互换（转置），行列式不变
• 性质2：一数乘行列式的一行就相当于这个数乘此行列式
• 性质3：如果行列式中有两行相同，那么行列式为0，所谓两行相同，即两行对应的元素都相等
• 性质4：如果行列式中，两行成比例，那么该行列式为0
• 性质5：把一行的倍数加到另一行，行列式不变
• 性质6：对换行列式中两行的位置，行列式反号

矩阵的初等变换又分为矩阵的初等行变换和矩阵的初等列变换。矩阵的初等行变换和初等列变换统称为初等变换。另外：分块矩阵也可以定义初等变换。
定义：如果B可以由A经过一系列初等变换得到，则称矩阵A与B称为等价

初等行变换定义：所谓数域P上矩阵的初等行变换是指下列3种变换：

• 1）以P中一个非零的数乘矩阵的某一行
• 2）把矩阵的某一行的c倍加到另一行，这里c是P中的任意一个数
• 3）互换矩阵中两行的位置

一般来说，一个矩阵经过初等行变换后就变成了另一个矩阵，当矩阵A经过初等行变换变成矩阵B时，一般写作 A→B
可以证明：任意一个矩阵经过一系列初等行变换总能变成阶梯型矩阵。

初等列变换。同样地，定义初等列变换，即：

• 1）以P中一个非零的数乘矩阵的某一列
• 2）把矩阵的某一列的c倍加到另一列，这里c是P中的任意一个数
• 3）互换矩阵中两列的位置

3. 矩阵的特征值

设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是矩阵A的一个特征值（characteristic value)或本征值（eigenvalue)。
其求解方式参见其他网络资料，大致是让矩阵A的主对角线元素都减λ的行列式为0，求解满足此方程的根，n为矩阵就有n个根，以此来求得的根就是矩阵A的特征值。

4. 矩阵的逆

一个 n 阶方阵 A ，如果存在另一个 n 阶方阵 B，它们满足：AB = BA = E（其中 E 为单位矩阵），那么两矩阵互为逆矩阵。换句话说，A 的逆矩阵为 B ，B 的逆矩阵为 A。矩阵 A 的逆阵是唯一的，记做A的逆矩阵为：$A^{-1}$

下面几个条件和矩阵A可逆互为充分必要条件：

• A的行列式 |A|≠0
• A可以表示成有限个初等矩阵相乘
• A等价于n阶单位矩阵
• A的特征值都不为 0
• A为非奇异矩阵
• A的秩R(A)=n
• A的列（行）向量组线性无关
• 齐次线性方程组 $Ax=0$ 仅有0解
• 非齐次线性方程组 $Ax=b$ 有唯一解
• 任意 n 维向量可由 A 的列（行）向量组线性表示

5. 矩阵的秩

若矩阵 A 中至少有一个k 阶子式不为 0，而所有k+1阶子式全为0，则rank(A)=k
矩阵的秩 = 矩阵行向量组的极大线性无关组中向量的个数 = 矩阵列向量组的极大线性无关组中向量的个数 = 矩阵最高阶非零子式的阶数
基本性质

• 初等变换不改变矩阵的秩
• 若两矩阵相抵（相合或相似），则两矩阵秩相等
• $rank(A^T)=rank(A^H)=rank(A^{H}A)=rank(A)$

二、原始的逆

矩阵的逆的定义参看上面部分

1、矩阵逆的求法

求矩阵的逆最常用的方法：一个矩阵的逆等于其伴随矩阵与其行列式之比！

关于此结论的证明可参看

【矩阵论】为什么矩阵的逆等于其伴随矩阵除以其行列式：https://zhuanlan.zhihu.com/p/472299694

二、广义逆

1、减逆

定义：设A为nm的矩阵，其秩R(A)=rn的矩阵G，满足方程：AGA=A；那么则称G为A的广义减逆，记为 $A^{-}$，其不唯一。当且仅当A为m=n阶非奇异方阵时，$A^{-}=A^{-1}$，唯一。

其常用性质为：

求减逆的方法为：将一个秩亏的矩阵A经过初等变换成左上角矩阵（除左上角元素外，其余元素都为0），那么减逆就等于左上逆矩阵（左上角矩阵的逆，其余元素都为0）

2、加逆

上面我们知道，A的减逆 $A^{-}$ 不唯一，若对其作一些限制，那么就可以得到一种唯一的广义逆，称为 Moore-Penrose 广义逆，并用 $A^{+}$ 表示。若$A^{+}$ 满足下面的式子：

• $A{A}^{+}A=A$
• $A^{+}A{A}^{+}=A^{+}$
• $(A{A}^{+}{)}^T=A{A}^{+}$
• $(A^{+}A{)}^T=(A^{+}A)$
  则称$A^{+}$为A的 Moore-Penrose 广义逆，俗称加逆。
  在测量中常用下面的方法求加逆：
• $A^{+}=A^T(A{A}^T{)}^{-}A(A^{T}A{)}^{-}{A}^T$

3、最小范数逆

上面的概念中有最小范数解和相容方程组的概念，为了方便，这里再提一下

• 相容方程组：方程组Ax=b有解，则称此方程组为相容方程组
• 最小范数解：设方程组Ax=b有解，将所有解中范数最小的解称为最小范数解

若对于矩阵G，若它满足Moore-Penrose 条件中的两条：

• $AGA=A$
• $(GA{)}^T=GA$

那么 Gb 就是相容方程组Ax=b的最小范数解，并且方程组的最小范数解唯一。这里的G就是最小范数逆。

在一些地方，可能会见到下面的表达方式：

• $GA{A}^T=A^T$

实际上，这是由上面两个式子推导出来的，推导过程为：将第二式代入第一式得到$A(GA{)}^T=A$，两边转置得 $GA{A}^T=A^T$

对于最小范数逆还有一个有趣的现象：最小范数逆不唯一，但是最小范数解唯一。证明如下：