第四章 矩阵分解

第四章 Matrix Decompositions

4.1 Determinant and Trace

4.1.1 Determinant

1.行列式

只有方阵$A\in {\mathbb{R}}^{n\times n}$具有行列式，通常记矩阵A的行列式为$det(A)$ 或 $|A|$。
$$det(A)=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|$$
方阵A的行列式是将矩阵A映射为一个实数的函数。

2.计算行列式

（1）三角矩阵

若对于$i>j,T_{ij}=0$，则称方阵T为上三角矩阵。（即对角线下方全为0）。

若对于$i<j,T_{ij}=0$，则称方阵T为下三角矩阵。（即对角线上方全为0）。

则三角矩阵$T\in {\mathbb{R}}^{n\times n}$
$$det(T)=\prod _{i=1}^n{T}_{ii}$$
（2）Laplace Expansion

方阵$A\in {\mathbb{R}}^{n\times n}$ ，$j=1,...,n$

从列计算
$$det(A)=\sum _{k=1}^n(-1{)}^{k+j}{a}_{kj}det(A_{k,j})$$
从行计算
$$det(A)=\sum _{k=1}^n(-1{)}^{k+j}{a}_{jk}det(A_{j,k})$$
其中$A_{k,j} $ 表示矩阵A去掉 k 行 j 列剩下的子矩阵。

3.行列式性质

（1）矩阵乘积的行列式等于矩阵行列式的乘积，$det(AB)=det(A)det(B)$。

（2）矩阵转置后行列式不变，$det(A)=det(A^T)$。

（3）若矩阵A是可逆的，则$det(A^{-1})=\frac{1}{det(A)}$ 。

（4）相似矩阵行列式相同。

（5）将行列式某行或某列的数倍加到另一行（列），行列式不变。

（6）$det(\lambda A)={\lambda }^{n}det(A)$

（7）交换两行（列），行列式符号改变。

注：

根据性质5、6、7，则可先使用高斯变化将矩阵A化为行阶梯型，然后使用三角矩阵行列式计算方法计算行列式。

4.定理（使用行列式判断矩阵可逆）

方阵$A\in {\mathbb{R}}^{n\times n}$ ，A可逆 当且仅当 $det(A)\ne 0$ 。

方阵$A\in {\mathbb{R}}^{n\times n}$ ，$det(A)\ne 0$ 当且仅当 $rank(A)=n $ 。即矩阵A可逆当且仅当它是满秩。

4.1.2 Trace

1.定义

方阵$A\in {\mathbb{R}}^{n\times n}$ 的迹
$$tr(A):=\sum _{i=1}^n{a}_{ii}$$
2.迹的性质

• $tr(A+B)=tr(A)+tr(B),A,B\in {\mathbb{R}}^{n\times n}$

• $tr(\alpha A)=\alpha tr(A),\alpha \in \mathbb{R},A\in {\mathbb{R}}^{n\times n}$

• $tr(I_n)=n$

• $tr(AB)=tr(BA),A\in {\mathbb{R}}^{n\times k},B\in {\mathbb{R}}^{k\times n}$

• 矩阵乘积的迹，循环排列后，其迹不变

  $tr(AKL)=tr(KLA)=tr(LAK),A\in {\mathbb{R}}^{n\times k},K\in {\mathbb{R}}^{k\times l},L\in {\mathbb{R}}^{l\times n}$ 。

3.特征多项式

方阵$A\in {\mathbb{R}}^{n\times n}$ ，$\lambda \in \mathbb{R}$ ，
$$\begin{gathered} p_A(\lambda ):=det(A-\lambda I) \\ =c_0+c_1\lambda +c_2{\lambda }^2+...+c_{n-1}{\lambda }^{n-1}+(-1{)}^n{\lambda }^n \end{gathered}$$
其中
$$\begin{gathered} c_0=det(A) \\ {c}_{n-1}=(-1{)}^{n-1}tr(A) \end{gathered}$$

4.2 Eigenvalues and Eigenvectors

1.定义(eigenvalue,eigenvector)

方阵$A\in {\mathbb{R}}^{n\times n}$ 。若 $Ax=\lambda x$ ，则

$\lambda \in \mathbb{R}$ 是矩阵A的特征值，$x\in {\mathbb{R}}^n╲$ {0} 是对应的特征向量。

方程$Ax=\lambda x$ 称为特征方程。

注： 下列语句是等价的

• $\lambda $ 是矩阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征向量

• 存在$x\in {\mathbb{R}}^n╲$ {0} 使$Ax=\lambda x$ 。或$(A-\lambda I_n)=0$ 具有非零解。

• $rk(A-\lambda I_n)<n$

• $det(A-\lambda I_n)=0$

2.定义(Collinearity and Codirection)

两个向量指向同一方向则称为共向，两个向量指向方向相同或相反称为共线。

注：（特征向量是不唯一的） 若$x$ 是A关于特征值$\lambda$ 的一个特征向量 ，则$c\in \mathbb{R}╲$ {0} ,$cx$ 仍为A关于特征值$\lambda$ 的特征向量。

故，所有与特征向量$x$ 共线的向量也是矩阵A关于相同特征值的特征向量。

3.定理

（1）$\lambda \in \mathbb{R}$ 是矩阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征向量 当且仅当 $\lambda$ 是特征多项式$p_A(\lambda )$ 的一个根。

（2）矩阵$A\in {\mathbb{R}}^{n\times n}$ 的n个不同的特征值${\lambda }_1,...,{\lambda }_n$ 对应的特征向量$x_1,...x_n$ 是线性无关的。

注： 通过该定理，特征向量$x_1,...x_n$ 可表示为${\mathbb{R}}^n$ 的一组基。

4. algebraic multiplicity

方阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征向量${\lambda }_i$，${\lambda }_i$的代数多重性是其在特征多项式根中出现的次数。

5. geometric multiplicity

${\lambda }_i$ 是方阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征值，则${\lambda }_i$ 的几何重数是其对应的线性无关的特征向量的个数。换言之${\lambda }_i$ 的几何重数是其对应特征向量张成的特征空间的维数。

注： 一个特征值的几何重数至少为1。一个特征值的几何重数不超过其代数多重性。

6. Eigenspace and Eigenspectrum

方阵$A\in {\mathbb{R}}^{n\times n}$ ，与特征值$\lambda$ 对应的所有特征向量组成的集合称为特征空间，记为$E_{\lambda }$。关于A的所有特征值的集合称为A的Eigenspectrum。

注： $\lambda $ 是矩阵$A\in {\mathbb{R}}^{n\times n}$ 的一个特征值，则其对应的特征空间 $E_{\lambda }$是 方程$(A-\lambda I)x=0$ 的解空间。

7.特征值与特征向量的性质

• 矩阵$A$ 和他的转置$A^T$ 具有相同的特征值，但特征向量不一定相同。

• 特征空间$E_{\lambda }$ 是$A-\lambda I$ 的零空间：
  $$\begin{gathered} Ax=\lambda x⟺Ax-\lambda x=0 \\ ⟺(A-\lambda I)x=0⟺x\in ker(A-\lambda I) \end{gathered}$$

• 相似矩阵具有相同特征值。线性映射的重要参数为特征值、行列式和迹，因为他们不会因为基的改变而变化。

• 对称正定矩阵总是具有正的实特征值。

8. 缺陷矩阵

方阵$A\in {\mathbb{R}}^{n\times n}$ 具有的线性无关特征向量少于n个，则A是缺陷的。

**注：**一个非缺陷矩阵不一定要有n个不同特征值，但具有n个线性无关的特征向量。

​ 一个缺陷矩阵至少有一个特征值其代数多重性大于其几何多重性。

​ 一个缺陷矩阵不可能具有n个不同特征值。

9. 定理

（1）对于矩阵$A\in {\mathbb{R}}^{m\times n}$ ，我们可获得一个对称正定矩阵$S\in {\mathbb{R}}^{n\times n}$
$$S:=A^{T}A$$
注： 若 $rk(A)=n$，则$S:=A^{T}A$ 是对称正定的。

（2）矩阵$A\in {\mathbb{R}}^{n\times n}$ 的行列式
$$det(A)=\prod _{i=1}^n{\lambda }_i$$
（3）矩阵$A\in {\mathbb{R}}^{n\times n}$ 的迹
$$tr(A)=\sum _{i=1}^n{\lambda }_i$$
10. Spectral Theorem

如果$A\in {\mathbb{R}}^{n\times n}$ 对称，则对应的向量空间$V$存在由A的特征向量组成的一组标准正交基，且每个特征值都是实的。

4.3 Cholesky Decomposition

Cholesky Decomposition为对称正定矩阵提供了一个类平方根操作，可将对称正定矩阵分解为两个对角矩阵的乘积。

定理（Cholesky Decomposition）

一个对称正定矩阵A，可被分解为$A=L{L}^T$ 。其中$L$是下三角矩阵（其对角元素为正）。
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]=\left[\begin{array}{cccc}{l}_{11}& 0& \cdots & 0\\ l_{21}& l_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right]\left[\begin{array}{cccc}{l}_{11}& l_{21}& \cdots & l_{n1}\\ 0& l_{22}& \cdots & l_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & l_{nn}\end{array}\right]$$
$L$被称为A的Cholesky因子，且$L$是唯一的。

注： 可利用Cholesky分解求解行列式
$$det(A)=det(L)det(L^T)=det(L{)}^2=\prod _i{l}_{ii}^2$$

4.4 Eigendecomposition and Diagonalization

1.对角矩阵

非对角线元素全为0的矩阵称为对角矩阵。
$$D=\left[\begin{array}{cccc}{c}_1& 0& \cdots & 0\\ 0& c_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & c_n\end{array}\right]$$
对角矩阵可以很方便的计算其行列式、幂、逆。
$$行列式：|D|=\prod _i^n{c}_i$$

$$k次幂：D^k=\left[\begin{array}{cccc}{c}_1^k& 0& \cdots & 0\\ 0& c_2^k& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & c_n^k\end{array}\right]$$

$$逆：D^{-1}=\left[\begin{array}{cccc}\frac{1}{c_1}& 0& \cdots & 0\\ 0& \frac{1}{c_2}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \frac{1}{c_n}\end{array}\right]$$

注： 计算逆时，当对角元素均不为0时成立。

2.定义（对角化）

矩阵 $A\in {\mathbb{R}}^{n\times n}$ 与一个对角矩阵相似，则称A是可对角化的。即存在可逆矩阵$P\in {\mathbb{R}}^{n\times n}$ ，使得$D=P^{-1}AP$ 。

其中$D$ 为对角矩阵，且其对角线元素为矩阵A 的特征值。矩阵P 由与特征值对应的特征向量组成，且该组向量线性无关。

设${\lambda }_1,...,{\lambda }_n$ 为A的特征值，$p_1,...,p_n$ 为特征值对应的特征向量，且线性无关，可作为${\mathbb{R}}^n$ 的一组基。则
$$D=\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right],P=\left[\begin{array}{cccc}{p}_1,& p_2,& \cdots ,& p_n\end{array}\right]$$
3.定理（特征分解）

当且仅当方阵$A\in {\mathbb{R}}^{n\times n}$ 的特征向量可作为${\mathbb{R}}^n$ 的一组基时， 方阵 $A $ 可被分解为 $A=PD{P}^{-1}$ 。

$P\in {\mathbb{R}}^{n\times n}$ ； $D$ 为对角矩阵，对角元素为A的特征值。

注： 只有非缺陷矩阵能被对角化。

• 特征分解步骤

假设对矩阵$A\in {\mathbb{R}}^{n\times n}$ 进行特征分解

（1）计算特征值和特征向量；

（2）验证特征向量是否可以作为${\mathbb{R}}^n$ 的一组基；

（3）若（2）成立，构造矩阵$P=[p_1,...,p_n]$ ,对角化$A$ ，得对角矩阵$D=P^{-1}AP$。故 $A=PD{P}^{-1}$

4. 对称方阵$S\in {\mathbb{R}}^{n\times n}$ 一定可被对角化。

注：

• 由 $A=PD{P}^{-1}$ 可得
  $$A^k=(PD{P}^{-1}{)}^K=P{D}^K{P}^{-1}$$

• 若存在 $A=PD{P}^{-1}$ ，则
  $$det(A)=det(PD{P}^{-1})=det(P)det(D)det(P^{-1})=det(D)=\prod _i{d}_{ii}$$

4.5 Singular Value Decomposition

奇异值分解（SVD）称为线性代数基本理论，因为他可应用于任何矩阵，且总是存在的。

SVD Theorem

矩阵$A\in {\mathbb{R}}^{m\times n}$ ，其秩$r\in [0,\min (m,n)]$，矩阵$A$ 的SVD如下形式
$$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}$$
$U\in {\mathbb{R}}^{m\times m}$ 是列向量为 $u_i,i=1,...,m$ 的正交矩阵；

$V\in {\mathbb{R}}^{n\times n}$ 是列向量为 $v_i,i=1,...,n$ 的正交矩阵；

$\Sigma \in {\mathbb{R}}^{m\times n}$ 其中${\Sigma }_{ii}={\sigma }_i⩾0,{\Sigma }_{ij}=0,i\ne j$ 。

（1）若$m>n$
$$\Sigma =\left[\begin{array}{ccc}{\sigma }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\sigma }_r\\ 0& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & 0\end{array}\right]$$
（2）若$m<n$
$$\Sigma =\left[\begin{array}{cccccc}{\sigma }_1& \cdots & 0& 0& \cdots & 0\\ ⋮& \ddots & ⋮& 0& \cdots & 0\\ 0& \cdots & {\sigma }_r& 0& \cdots & 0\end{array}\right]$$

• $\Sigma \in {\mathbb{R}}^{m\times n}$ 的对角元素${\sigma }_i,i=1,...,r$ ，称为奇异值，且奇异值是唯一的。
• $u_i$ 称为左奇异向量；$v_i$ 称为右奇异向量。
• 按照惯例，奇异值是有序的，如 ${\sigma }_1⩾{\sigma }_2⩾...⩾{\sigma }_r$ 。
• 任意矩阵$A\in {\mathbb{R}}^{m\times n}$ ，其SVD均存在。

4.5.1 Geometric Intuitions for the SVD

一个矩阵$A\in {\mathbb{R}}^{m\times n}$ 的奇异值分解可以被解释为线性映射 $\Phi :{\mathbb{R}}^n\to {\mathbb{R}}^m$ 。

1.首先通过矩阵$V$ 进行基底变换；

2.再通过$\Sigma$ 对坐标进行拉伸，升维或降维；

3.最后通过矩阵$U$ 对变化后的空间基底进行变换。

如下图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XT1MrtE3-1599566320640)(第四章 矩阵分解.assets/SVD几何直观.JPG)]

4.5.2 Construction of the SVD

1. 比较一个对称正定矩阵的特征分解和SVD：
$$\begin{gathered} S=S^T=PD{P}^T \\ S=U\Sigma V^T \end{gathered}$$
若我们设
$$U=P=V,D=\Sigma$$
则对称正定矩阵的SVD和特征分解相同。

2. 对于矩阵$A\in {\mathbb{R}}^{m\times n}$ ，我们总可以构造一个对称正定矩阵$A^{T}A$ 。因此我们可以对角化$A^{T}A$
$$A^{T}A=PD{P}^T=P\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]P^T$$
注： 因为A是对称正定的，故P是正交矩阵，所以$P^T=P^{-1}$ 。

3. 假设$A$ 的SVD是存在的
$$A^{T}A=(U\Sigma V^T{)}^{T}U\Sigma V^T=V{\Sigma }^T{U}^{T}U\Sigma V^T$$
因为$U,V$ 都是正交矩阵，故
$$A^{T}A=V{\Sigma }^T\Sigma V^T=V\left[\begin{array}{cccc}{\sigma }_1^2& 0& \cdots & 0\\ 0& {\sigma }_2^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_n^2\end{array}\right]V^T$$
4. 对比2、3中式子 ，可得
$$\begin{gathered} V^T=P^T \\ {\sigma }_i^2={\lambda }_i \end{gathered}$$
故$A^{T}A$ 的特征向量组成的矩阵$P$ 是$A$ 的右奇异向量$V$ 。

5. 为保证$U$ 的正交性，可利用矩阵$A$ 对右奇异向量$v_i$ 变换后，其正交性不变得
$$u_i:=\frac{A{v}_i}{\Vert A{v}_i\Vert }=\frac{1}{\sqrt{{\lambda }_i}}A{v}_i=\frac{1}{{\sigma }_i}A{v}_i$$

4.5.3 Eigenvalue Decomposition vs. Singular Value Decomposition

对比特征分解$A=PD{P}^{-1}$ 和SVD $A=U\Sigma V^T$

• （1）SVD可用于任意矩阵 $A\in {\mathbb{R}}^{m\times n}$ ，而特征分解只适用于方阵$A\in {\mathbb{R}}^{n\times n}$ ，且要求其特征向量可作为${\mathbb{R}}^n$ 的一组基。

• （2）特征分解中矩阵$P$ 中列向量不要求正交；而SVD中$U,V$ 中向量是标准正交的。

• （3）特征分解和SVD都是由三个线性映射组成：

1. 在原域内改变基；
2. 独立的缩放每个基向量，将其映射到另一个域上；
3. 在新域上进行基变换。

注： 两者之间的不同是，在SVD中，两个域维数可不相同。

• （4）在SVD 中，$U,V$ 通常不互为逆；而特征分解中$P,P^{-1}$ 互为对方的逆。

• （5）SVD中 $\Sigma $中对角元素均是非负的；特征分解中对角矩阵不是。

• （6）SVD 和特征分解密切相关：

  1. $A$ 的左奇异向量是$A{A}^T$ 的特征向量；

  2. $A$ 的右奇异向量是$A^{T}A$ 的特征向量；

  3. $A$ 的非零奇异值是$A^{T}A$ （$A{A}^T$）的特征值的平方根。

• （7） 对称矩阵$A\in {\mathbb{R}}^{n\times n}$ 的特征分解和SVD 是相同的。

**SVD 的术语和约定 **

（1）SVD 有时也成为 full SVD。

（2）更关注奇异值矩阵为方阵形式时，SVD 也可写为：
$$A_{m\times n}=U_{m\times n}{\Sigma }_{n\times n}{V}_{n\times n}$$
该形式也称为 reduce SVD。

（3）若$A\in {\mathbb{R}}^{m\times n}$ 秩为 r，则SVD可写为
$$A_{m\times n}=U_{m\times r}{\Sigma }_{r\times r}{V}_{r\times n}$$

4.6 Matrix Approximation

矩阵近似：根据SVD $A=U\Sigma V^T\in {\mathbb{R}}^{m\times n}$将矩阵$A$ 表示为一些简单的低秩矩阵$A_i$之和。

• 构造秩为1的矩阵$A_i\in {\mathbb{R}}^{m\times n}$

$$A_i:=u_i{v}_i^T$$

其中$u_i,v_i$ 分别为 $U,V$ 的第 i 个正交列向量。

• 秩为 r 的矩阵$A\in {\mathbb{R}}^{m\times n}$ 可被表示为秩为1的矩阵$A_i$ 之和

$$A=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T=\sum _{i=1}^r{\sigma }_i{A}_i$$

其中${\sigma }_i$ 是矩阵$A$ 的第 i 个特征值。

${\sum }_{ij}{u}_i{v}_j^T,i\ne j$ 不存在是因为$\Sigma$ 是对角矩阵；$i>r$ 不存在是因为其对应特征值为0 。

• 矩阵A的秩k近似（k $$\hat{A}(k):=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^T=\sum _{i=1}^k{\sigma }_i{A}_i$$

1.定义（Spectral Norm of a Matrix）

对$x\in \mathbb{R}$\ {0} ，矩阵$A\in {\mathbb{R}}^{m\times n}$ 的Spectral Norm 被定义为
$$\Vert A{\Vert }_2:=ma{x}_x\frac{\Vert Ax{\Vert }_2}{\Vert x{\Vert }_2}$$
Spectral Norm决定了任何向量x乘以A最多可以变成多长。

2.定理

矩阵$A\in {\mathbb{R}}^{m\times n}$ 的Spectral Norm为其最大奇异值${\sigma }_1$。

3.定理（Eckart-Young Theorem）

矩阵$A\in {\mathbb{R}}^{m\times n}$ 秩为r ，矩阵$B\in {\mathbb{R}}^{m\times n}$ 秩为k。对任意$k⩽r$ ,$\hat{A}(k):={\sum }_{i=1}^k{\sigma }_i{u}_i{v}_i^T$ 满足：
$$\begin{gathered} \hat{A}(k)=argmi{n}_{rk(B)=k}\Vert A-B{\Vert }_2 \\ \Vert A-\hat{A}(k){\Vert }_2={\sigma }_{k+1} \end{gathered}$$
Eckart-Young定理明确地陈述了用rank-k近似逼近A时引入的误差有多大。

4.7 Matrix Phylogeny

**不同类型矩阵关系的 phylogenetic tree **

（黑色箭头表示是其子集）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gl9ZnF5V-1599566320654)(第四章 矩阵分解.assets/矩阵关系.JPG)]

1. 任意实矩阵均可求伪逆和SVD。实矩阵分出两个分支：方阵、非方阵
2. 对于方阵可求行列式、迹、特征值特征向量；
   • 行列式判断矩阵是否可逆。（行列式不为0，矩阵可逆）
   • 特征向量判断矩阵是否缺陷。（特征向量可作为一组基则是非缺陷矩阵）
   • 非缺陷矩阵可进行对角化。
3. 可逆矩阵若列是互相正交的则为正交矩阵，$A^T=A^{-1}$。
4. 对称矩阵的特征值均为实数，对称矩阵有 正定矩阵、对角矩阵两个子集。
   • 正定矩阵可进行Cholesky分解，其特征向量是大于0的。正定矩阵一定可逆。
   • 单位矩阵是特殊的对角矩阵。
     $A(k):={\sum }_{i=1}^k{\sigma }_i{u}_i{v}_i^T$ 满足：
     $$\begin{gathered} \hat{A}(k)=argmi{n}_{rk(B)=k}\Vert A-B{\Vert }_2 \\ \Vert A-\hat{A}(k){\Vert }_2={\sigma }_{k+1} \end{gathered}$$
     Eckart-Young定理明确地陈述了用rank-k近似逼近A时引入的误差有多大。

4.7 Matrix Phylogeny

**不同类型矩阵关系的 phylogenetic tree **

（黑色箭头表示是其子集）

[外链图片转

存中…(img-gl9ZnF5V-1599566320654)]

1. 任意实矩阵均可求伪逆和SVD。实矩阵分出两个分支：方阵、非方阵
2. 对于方阵可求行列式、迹、特征值特征向量；
   • 行列式判断矩阵是否可逆。（行列式不为0，矩阵可逆）
   • 特征向量判断矩阵是否缺陷。（特征向量可作为一组基则是非缺陷矩阵）
   • 非缺陷矩阵可进行对角化。
3. 可逆矩阵若列是互相正交的则为正交矩阵，$A^T=A^{-1}$。
4. 对称矩阵的特征值均为实数，对称矩阵有 正定矩阵、对角矩阵两个子集。
   • 正定矩阵可进行Cholesky分解，其特征向量是大于0的。正定矩阵一定可逆。
   • 单位矩阵是特殊的对角矩阵。