常见的特殊矩阵及分解（一）

参考：矩阵分析、维基百科、线代启示录、百度百科

在SLAM的学习过程中，经常会遇到矩阵的求解问题，这就需要用到矩阵分解，而使用一种分解方法很多时候都需要矩阵满足某种特性，故打算分三次博客分别介绍下这些特殊矩阵、分解方法及在Eigen库中的使用.
下面简单给出常见特殊矩阵的性质(必要条件)与判别方法(充分条件).

---

1、相似矩阵

两个 $n\times n$ 矩阵 $A$ 与 $B$ 为相似矩阵，当且仅当存在一个 $n\times n$ 的可逆矩阵 $P$，使得：
$$P^{-1}AP=B$$
$P$ 被称为矩阵 $A$ 与 $B$ 之间的相似变换矩阵.

1.1 特性

相似变换下的不变性质：
1）两者的秩相等
2）两者的行列式值相等
3）两者的迹数相等
4）两者拥有同样的特征值，尽管相应的特征向量一般不同

1.2 相似对角化

设 $A\in C^{n\times n}$，则 $A$ 可以对角化的充要条件是 $A$ 有 $n$ 个线性无关的特征向量. 且 $\Lambda$ 的对角线元素都是 $A$ 的特征值（包括重数）.

$$P^{-1}AP=\Lambda$$

证明：
设有可逆矩阵 $P$ 使得
$$P^{-1}AP=\Lambda ,AP=P\Lambda$$
设
$$P=(P_1,P_2,...,P_n),\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$$
则
$$(A{P}_1,A{P}_2,...,A{P}_n)=({\lambda }_1{P}_1,{\lambda }_2{P}_2,...,{\lambda }_n{P}_n)$$
可见 $P_i$ 是 $A$ 的特征向量，而 $P$ 又是可逆的，所以$A$ 有 $n$ 个线性无关的特征向量

对角化条件
一个$n\times n$的矩阵 $M$ 是可对角化的，当且仅当 $M$ 满足下列条件之一：

• $M$ 是实对称矩阵（参见对角分解）
• $M$ 有 $n$ 个线性无关的特征向量。或者说，$M$ 有一个由特征向量组成的基。（称作极大无关条件）
• $M$ 的所有特征值的几何重数（即相应特征子空间的维数）等于相应的代数重数（即特征多项式中 $(x-\lambda )$项的次数）。或者说，$M$ 的所有几何重数之和等于 $n$。（称作重数相等条件）
• $M$ 的极小多项式经标准分解后，每一项都是一次项，且重数都是1。（称作互异单根条件）

1.3 约当标准型

有上可知，并不是每个矩阵都可以进行相似对角化，如果不能对角化，那么通过相似变换，矩阵能够化成最简单的形式就是约当标准型.
$$P^{-1}AP=J$$
约当标准型是由若干个约当块构成的分块对角矩阵 $J_i$ 组成
$$J=\left[\begin{array}{llc}{J}_1& & \\ & \ddots & \\ & & J_p\end{array}\right]$$
每一个小块矩阵都具备一种很简单的形状：
$$J_i=\left[\begin{array}{cccc}{\lambda }_i& 1& & \\ & {\lambda }_i& \ddots & \\ & & \ddots & 1\\ & & & {\lambda }_i\end{array}\right]$$

---

2、正规矩阵

满足下列条件的矩阵都属于正规矩阵
$$A^{H}A=A{A}^H$$
注意，正规矩阵不一定可逆，对称矩阵就不一定可逆（见下）.
正规矩阵包括但不限于下列矩阵：

如，正规矩阵 $A=\left[\begin{array}{cc}1& 1\\ -1& 1\end{array}\right]$ 就不属于上面几种特殊矩阵.

性质
1）正规矩阵一定可以对角化

2.1 实对称矩阵（symmetric matrix）

$$A=A^T$$

特性
1）实对称矩阵都可以正交对角化
2）参见，2.4 厄米特矩阵
3）如果 $X$ 是对称矩阵，那么 $AX{A}^T$ 也是对称矩阵
4）一个矩阵同时为对称矩阵及斜对称矩阵当且仅当所有元素都是零
5）两个对称矩阵的积是对称矩阵，当且仅当两者的乘法可交换，两个实对称矩阵乘法可交换当且仅当两者的特征空间相同
6）对角矩阵都是对称矩阵
7）对于任何方形矩阵 $X$， $X+X^T$ 是对称矩阵

2.2 反实对称矩阵/ 斜对称矩阵（skew-symmetric matrix）

$$A^T=-A$$
行列式
$\det (A)=\det \left(A^T\right)=\det (-A)=(-1{)}^n\det (A)$

• 若 $n$ 是奇数，行列式等于0（雅可比定理），从这里看出，李代数 $\mathfrak{s}\mathfrak{o}(3)$中的$[\omega {]}_{\times }$ 的行列式就是0
• 若 $n$ 是偶数，行列式可以写成部分元素的多项式的平方
• 任意实斜对称矩阵的行列式是非负数

特性
1）斜对称矩阵的主对角线元素必是0，所以其迹数为零
2）斜对称矩阵自身相乘的积是对称矩阵
3）任意矩阵 $A$，$A^T-A$是斜对称矩阵
4）若 $A$ 是斜对称矩阵， $x$ 是向量，$x^{T}Ax$= 0，即二次型为0

2.3 正交矩阵（orthogonal matrix）

正交矩阵是一个方块矩阵 $Q$，其元素为实数，而且行与列皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵：
$$Q^T=Q^{-1}\iff Q^{T}Q=Q{Q}^T=I$$
正交矩阵的行列式值必定为+1或-1，因为：
$$1=\det (I)=\det \left(Q^{T}Q\right)=\det \left(Q^T\right)\det (Q)=(\det (Q){)}^2\Rightarrow |Q|=\pm 1$$

特性
1）作为一个线性映射（变换矩阵），正交矩阵保持距离不变（即，二范数的酉不变性），所以它是一个保距映射，具体例子为旋转与镜射
2）行列式值为+1的正交矩阵，称为特殊正交矩阵，即我们常说的旋转矩阵
3）行列式值为-1的正交矩阵，称为瑕旋转矩阵，瑕旋转就是旋转加上镜射。
4）所有 $n\times n$ 正交矩阵形成一个群 $O(n)$，称为正交群。亦即，正交矩阵与正交矩阵的乘积也是一个正交矩阵。
5）所有特殊正交矩阵形成一个子群 $SO(n)$，称为特殊正交群。亦即，旋转矩阵与旋转矩阵的乘积也是一个旋转矩阵。

在矩阵分解中应用
一些重要的矩阵分解（Golub & Van Loan, 1996）涉及到了正交矩阵，包括：
1）QR分解：$M=QR$, $Q$ 正交，$R$ 上三角。
2）奇异值分解：$M=U\Sigma V^T$, $U$和 $V$ 正交，$\Sigma$ 非负对角。
3）谱分解：$S=Q\Lambda Q^T$, $S$ 对称，$Q$ 正交，$\Lambda$ 对角。
4）极分解：$M=QS$, $Q$ 正交，$S$ 对称半正定

2.4 埃尔米特矩阵/厄米特矩阵（Hermitian matrix/self-adjoint matrix）

$$A=A^H$$
其中 $A^H$ 表示 $A$ 的共轭转置（conjugate transpose），埃尔米特矩阵中每一个第 $i$ 行第 $j$ 列的元素都与第 $j$ 行第 $i$ 列的元素的复共轭，埃尔米特矩阵主对角线上的元素都是实数的

特别注意，线性代数还有另一种伴随矩阵。共轭转置 $A^{\ast }={\overline{A}}^T$也称为 $A$ 的伴随(adjoint)，所以厄米特矩阵又叫自伴随矩阵.

特性
1）埃尔米特矩阵特征值是实数
2）若 $A$ 是Hermitian矩阵，对于任意向量 $\mathbf{x}\in {\mathbb{C}}^n$，${\mathbf{x}}^{\ast }A\mathbf{x}$ 是实数
3）Hermitian矩阵对应相异特征值的特征向量互为正交
4）Hermitian矩阵的特征值的代数重数等于几何重数

2.5 反厄米特矩阵/反埃尔米特矩阵

同上

2.6 酉矩阵

---

3、正定矩阵

广义定义
设 $M$ 是 $n$ 阶方阵，如果对任何非零向量z，都有 $z^{T}Mz>0$，其中 $z^T$ 表示 $z$ 的转置，就称 $M$ 为正定矩阵

狭义定义
正定矩阵是埃尔米特矩阵的一种. 维基百科使用的是这种定义方式，默认正定矩阵属于埃尔米特矩阵.
令 $A$ 为一个 $n\times n$ 阶实对称矩阵。若每一 $n$ 维非零实向量 $\mathbf{x}$ 皆使得
$${\mathbf{x}}^{T}A\mathbf{x}>0$$
我们称 $A$ 为正定(positive definite)；若将上述条件放松为
$${\mathbf{x}}^{T}A\mathbf{x}\ge 0$$
则 $A$ 称为半正定(positive semidefinite)。改变正定和半正定的不等式方向就有 $A$ 是负定或半负定的概念，也可以说 $A$ 是正定或半正定。如果 ${\mathbf{x}}^{T}A\mathbf{x}$ 可能是正值也可能是负值，则称A是未定的(indefinite)
上述实正定矩阵的定义同样适用于复矩阵，但转置 $(\cdot {)}^T$ 要改成共轭转置 $(\cdot {)}^{\ast }$，因此实对称矩阵 $A^T=A$ 替换为Hermitian矩阵 $A^{\ast }=A$.

任何一个实方阵 $A$ 必可表示为一个实对称矩阵与一个反对称矩阵之和，$A=B+C$，其中，
$$\begin{array}{rl}B& =\frac{1}{2}\left(A+A^T\right)\\ C& =\frac{1}{2}\left(A-A^T\right)\end{array}$$

$${\mathbf{x}}^{T}A\mathbf{x}={\mathbf{x}}^T(B+C)\mathbf{x}={\mathbf{x}}^{T}B\mathbf{x}+{\mathbf{x}}^{T}C\mathbf{x}$$
由反对称矩阵性质可得，
$${\mathbf{x}}^{T}C\mathbf{x}={\left({\mathbf{x}}^{T}C\mathbf{x}\right)}^T={\mathbf{x}}^T{C}^T\mathbf{x}=-{\mathbf{x}}^{T}C\mathbf{x}$$
即得，${\mathbf{x}}^{T}C\mathbf{x}=0$，进一步得，
$${\mathbf{x}}^{T}A\mathbf{x}={\mathbf{x}}^{T}B\mathbf{X}$$
即二次型 ${\mathbf{x}}^{T}A\mathbf{x}$ 可用对称部分表示。若 $A$ 不为对称矩阵，则 $A$ 为正定矩阵(即 ${\mathbf{x}}^{T}A\mathbf{x}>0$，对于所有 $\mathbf{x}\ne 0)$ 等价于 $\frac{1}{2}(A+A^T)$ 为正定矩阵

性质
1）正定矩阵的每一个主子阵都是正定的
2）正定矩阵的特征值皆为正数，所以，利用矩阵特征值、行列式与迹数(trace)性质可得，正定矩阵必可逆
设 $\lambda$ 为正定矩阵 $A$ 的一个特征值，$\mathbf{x}$ 为对应的特征向量，$\mathbf{x}\ne 0$，则
$${\mathbf{x}}^{\ast }A\mathbf{x}={\mathbf{x}}^{\ast }\lambda \mathbf{x}=\lambda {\mathbf{x}}^{\ast }\mathbf{x}$$
所以，$\lambda =({\mathbf{x}}^{\ast }A\mathbf{x})/{\mathbf{x}}^{\ast }\mathbf{x}$，分子与分母都是正数，故 $\lambda >0$
3）正定矩阵的轴(pivot)都是正数
@TODO
4）正定矩阵 $A$ 可表示为 $A=B^{\ast }B$，$B$ 是一个可逆矩阵（这里的证明也使用的正定矩阵的狭义定义）

判别正定阵
1）求出A的所有特征值。若A的特征值均为正数，则A是正定的；若A的特征值均为负数，则A为负定的。

正定或半正定矩阵与奇异值分解有密切的关系，对于任意 $m\times n$阶矩阵 $A$，交互乘积 $A^{T}A$ 和 $A{A}^T$ 的特征值都不为负值（即，SVD分解中的奇异值），故 $A^{T}A$ 和 $A{A}^T$ 是半正定矩阵
如果 $A^{T}A$ 可逆，那么 $A^{T}A$ 一定是正定矩阵，因为 $A^{T}A$ 的行列不为0，所以SVD分解中的 $D$ 矩阵可逆！

2）计算A的各阶顺序主子式。若A的各阶顺序主子式均大于零，则A是正定的；若A的各阶顺序主子式中，奇数阶主子式为负，偶数阶为正，则A为负定的。

3）若 $n\times n$ 阶Hermitian矩阵 $A$ 的轴皆为正数，则 $A$ 是正定矩阵
4）若 $n\times n$ 阶Hermitian矩阵 $A$ 可表示为 $A=B^{\ast }B$，$B$ 是一个可逆矩阵，则 $A$ 是正定矩阵

判别半正定
1）所有的主子式非负，顺序主子式非负并不能推出矩阵是半正定的

---

4、伴随矩阵

$A$ 的余子矩阵是一个 $n\times n$ 的矩阵 $C$，使得其第 $i$ 行第 $j$ 列的元素是 $A$ 关于第 $i$ 行第 $j$ 列的代数余子式.
矩阵 $A$ 的伴随矩阵是 $A$ 的余子矩阵的转置矩阵. 即
$$\mathrm{adj}(\mathbf{A})={\mathbf{C}}^T$$

如果矩阵可逆，那么它的逆矩阵和它的伴随矩阵之间只差一个系数，但是伴随矩阵对不可逆的矩阵也有定义的！

伴随矩阵的秩
当矩阵 $A$ 可逆时，它的伴随矩阵也可逆，因此两者的秩一样，都是 $n$，并且
$$A^{-1}=\frac{1}{\det A}\mathrm{adj}A$$

当矩阵 $A$ 不可逆时，$A$ 的伴随矩阵的秩通常并不与 $A$ 相同，

• 当 $A$ 的秩为 $n-1$ 时，其伴随矩阵的秩为1
• 当 $A$ 的秩小于 $n-1$ 时，其伴随矩阵为零矩阵

性质
1）$\mathrm{adj}(\mathbf{I})=\mathbf{I}$
2）$\mathrm{adj}(\mathbf{A}\mathbf{B})=\mathbf{a}\mathrm{d}\mathbf{j}(\mathbf{B})\mathrm{adj}(\mathbf{A})$，注意顺序
3）$\mathrm{adj}\left({\mathbf{A}}^T\right)=\mathrm{adj}(\mathbf{A}{)}^T$
4）如果 $A$ 可逆，那么 $\mathrm{adj}\left({\mathbf{A}}^{-1}\right)=\mathrm{adj}(\mathbf{A}{)}^{-1}=\frac{A}{\det A}$
5）如果 $A$ 是对称矩阵，那么其伴随矩阵也是对称矩阵；如果 $A$ 是反对称矩阵，那么当 $n$ 为偶数时，$A$ 的伴随矩阵也是反对称矩阵，$n$ 为奇数时则是对称矩阵
6）如果 $A$ 是（半）正定矩阵，那么其伴随矩阵也是（半）正定矩阵
7）如果矩阵 $A$ 和 $B$ 相似，那么 $\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{A})$ 和 $\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{B})$ 也相似
8）如果 $n>2$，那么非零矩阵 $A$ 是正交矩阵当且仅当 $\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{A})=\pm A^T$，注意，可使用该方法判别正交矩阵

---

5、可交换矩阵

一般来说，矩阵的乘法是不可交换的，但当矩阵满足一定条件时，其乘法变成可交换，即
$$A\cdot B=B\cdot A$$
判定：
1）设A , B 至少有一个为零矩阵,则A , B 可交换;
2）设A , B 至少有一个为单位矩阵, 则A , B可交换;
3）设A , B 至少有一个为数量矩阵, 则A , B可交换;
4）设A , B 均为对角矩阵,则A , B 可交换;
5）设A , B 均为准对角矩阵（准对角矩阵是分块矩阵概念下的一种矩阵。即除去主对角线上分块矩阵不为零矩阵外，其余分块矩阵均为零矩阵）,且对角线上的子块均可交换，则A , B 可交换
6）设 $A\ast$ 是 $A$ 的伴随矩阵，则 $A\ast$ 与 $A$ 可交换
7）设 $A$ 可逆,则 $A$ 与其逆矩阵可交换
注：$A$ 的逆矩阵经过数乘变换所得到的矩阵也可以与 $A$ 进行交换
8）$A^n(n=0,1...,n\in N)$可与 $A^m(n=0,1...,m\in N)$ 交换. 这一点由矩阵乘法的结合律证明

---

6、置换矩阵

置换矩阵是一种系数只由0和1组成的方块矩阵，置换矩阵的每一行和每一列都恰好有一个1，其余的系数都是0.
当一个矩阵乘上一个置换矩阵时，所得到的是原来矩阵的横行（置换矩阵在左）或纵列（置换矩阵在右）经过置换后得到的矩阵.
一个置换矩阵必然是正交矩阵，并且它的逆也是置换矩阵

---

7、顺序主子式

顺序主子式是n阶方阵的n个行列式按顺序排列而成，第k个行列式是由该方阵的前k行和k列组成。对于n阶方阵$A$，其共有n个顺序主子式
$A$ 的 $i$ 阶顺序主子式为：
$$D_i=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1i}\\ a_{21}& a_{22}& \dots & a_{2i}\\ ⋮& ⋮& & :\\ a_{i1}& a_{i2}& \dots & a_{ii}\end{array}\right|(i=1,2,\dots ,n)$$

应用
通过计算方阵A的所有顺序主子式，可以来判断一个实二次型是否正定或方阵A是否为正定矩阵，也可以判断方阵A是否可以进行唯一LU分解

---

8、分块矩阵

通过将大的矩阵通过分块的方式划分，并将每个分块看做另一个矩阵的元素，这样之后再参与运算，通常可以让计算变得清晰甚至得以大幅简化。例如，有的大矩阵可以通过分块变为对角矩阵或者是三角矩阵等特殊形式的矩阵.
分块矩阵中，位在同一行（列）的每一个子矩阵，都拥有相同的列数（行数）.

8.1 矩阵的分块乘法

假设存在 $C^{m\times n}=A^{m\times p}{B}^{p\times n}$，如果将 $A^{m\times p}$、$B^{p\times n}$ 写成分块矩阵再相乘，那么，
1）$A^{m\times p}$的列分块形式必须与$B^{p\times n}$行分块形式相同，
2）$A^{m\times p}$的行分块形式随便，
3）$B^{p\times n}$的列分块形式随便，举例如下：
$$\left[\begin{array}{cc}{A}_1^{3\times 4}& A_2^{3\times 5}\\ A_3^{6\times 4}& A_4^{6\times 5}\end{array}\right]\left[\begin{array}{cc}{B}_1^{4\times 1}& B_2^{4\times 8}\\ B_3^{5\times 1}& B_4^{5\times 8}\end{array}\right]$$

8.2 分块矩阵的行列式

证明参考：分块矩阵的行列式

公式一：
分块对角矩阵的行列式：
$$\left|\begin{array}{cc}A& 0\\ 0& D\end{array}\right|=\left|\begin{array}{cc}A& 0\\ 0& I\end{array}\right|\left|\begin{array}{cc}I& 0\\ 0& D\end{array}\right|=(\det A)(\det D)$$

公式二：
分块上（下）三角矩阵的行列式也等于主对角分块行列式之积，其中 $A$ 和 $D$ 是方阵(但大小可以相异)，即：
$$\left|\begin{array}{cc}A& B\\ 0& D\end{array}\right|=(\det A)(\det D)$$

公式三：
设A和D是方阵。若A是可逆的，则
$$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=(\det A)\left(\det \left(D-C{A}^{-1}B\right)\right)$$
若D可逆:
$$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=(\det D)\left(\det \left(A-B{D}^{-1}C\right)\right)$$

公式四：
设A, B, C, D是 $n\times n$阶矩阵。若A, B, C, D其中之一是零矩阵
$$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=\det (AD-BC)$$

还有公式五和公式六，貌似不常用，先占个空，用到再补^~^

---

<完>
@leatherwang

---