机器学习/深度学习/AI基础数学知识之线性代数概览

本篇内容都是线性代数，高等数学和概率论的基本内容，不涉及到公式的推导以及内容的深究，主要是做一个备忘录，以便查阅。本篇只涉及到线性代数，高等数学和概率论见后文博客。

线性代数

这里是对基本的线性代数的知识的记录

行列式

行列式n * n的表示变换，n*m的无实际意义。

逆序数

总结下来是：一切向前看。
定义为：对排列中的每一个数，当前数的和小于前面的数字的个数，将这些个数加在一起就是排列的逆序数。
如排列426315 的逆序数为：$\tau (426315)=0+1+0+2+4+1=8$

对于行列式中某些元素的乘积满足：
$$a_{1,n}{a}_{2,m}=-1^{\tau (nm)}{a}_{1,n}{a}_{2,m}$$
即符号可以通过列排列的逆序数得到。

行列式的性质与计算

行列式的性质

（1）转置不变
（2）对换变号，两行互换要加负号
（3）提公因子，可以把某一行的公因子提出来放到行列式前面，而不是整个行列式。
（4）拆加性质，某一列是可以分解为两个和，行列式可以分解为两个行列式，分解是拆，合并是加。
（5）倍加不变，如第二行加上第一行的k倍，行列式的值不发生改变。
零值性质：某行为0，行列式为0，两行成比例，行列式为0。

行列式计算

（1）对角线法则
用主对角线的乘积减去副对角的乘积，适用于二阶和三阶的。三阶的方法计算如下：

（2）三角化法
①主对角三角行列式，元素在左下(下三角)或是右上的(上三角)，结果是主对角线上的元素乘积。
②副对角三角行列式，元素在右下或是左上的，结果为$-1^{\frac{n(n-1)}{2}}{a}_{1,n}...a_{n,1}$。即副对角线的乘积，还需要-1的那么多次方，-1的系数可以由列排列的逆序数得到。

行/列和相等的行列式：

1. 行（列）和相等，列（行）相加
2. 提公因子
3. 三角化

（3）行列式展开

1. 余子式与代数余子式
   余子式$M_{ij}$：划掉$a_{ij}$所在的行和列.
   代数余子式$A_{ij}$：$A_{ij}=(-1{)}^{i+j}Mij$.

   余子式和代数余子式是一定比原行列式要低一阶的。

2. 展开定理(降阶法)
   一次操作是将n阶行列式降为n-1阶
   展开定理：
   $$D=|A|=a_{i1}{A}_{i1}+a_{i2}{A}_{i2}+...+a_{in}{A}_{in}$$
   对n阶行列式A, 上面是用第一行展开的结果，用其他行展开也可以，可以看到已经变成了n-1阶行列式的加和。也就实现了降阶。
   关键在于先化简，使得行列式的某行或者某列出现较多的0。这样前面的系数$a_{ij}$为0，减少对代数余子式的计算。
   推论：
   $$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+...+a_{in}{A}_{jn}=\{\begin{array}{lr}D,& i=j\\ 0,& i\ne j\end{array}$$
   可以通过展开定理一直对高阶行列式进行展开，直到可以直接进行计算。

若直接给出某行列式的代数余子式的展开形式，可以直接组成新的行列式进行计算，即展开定理的逆运用。

（4）其他
分块行列式，拉普拉斯公式
主对角的分块：
$$\left|\begin{array}{l}{A}_{m}O\\ O{B}_n\end{array}\right|=\left|\begin{array}{l}{A}_{m}C\\ O{B}_n\end{array}\right|=\left|\begin{array}{l}{A}_{m}C\\ O{B}_n\end{array}\right|=|A_m||B_n|$$
副对角的分块：
$$\left|\begin{array}{l}O{A}_m\\ B_{n}O\end{array}\right|=\left|\begin{array}{l}C{A}_m\\ B_{n}O\end{array}\right|=\left|\begin{array}{l}O{A}_m\\ B_{n}C\end{array}\right|=(-1{)}^{mn}|A_m||B_n|$$

其中m代表行列式A的阶数，n代表行列式B的阶数，C为常行列式，O为全0的行列式。

矩阵

矩阵和行列式的不同表现在：

• 行数不等于列数
• 共有m*n个元素
• 本质是一个数表

矩阵的基本运算

1. 矩阵加法
   A+B，要求是同型矩阵，对应元素相加减

2. 矩阵数乘
   kA，每个元素均要乘k。

3. 矩阵乘法：
   矩阵A乘矩阵B要求相邻的维度相同，则有$A_{m\times n}{B}_{n\times s}=C_{m\times s}$. 实际的运算定义为：
   $$c_{ij}=\sum _{l=1}^n{a}_{il}{b}_{lj},i=1,...,m,j=1,...,k.$$
   交换律，完全平方公式，平方差公式均失效

4. 矩阵的转置
   $A^{\top }$，就是行变列，列变行。

伴随矩阵，逆矩阵

（1）伴随矩阵$A^{\ast }$
对于下面这样一个矩阵A，它的伴随矩阵定义为：
$$A=\left|\begin{array}{l}{a}_{11}{a}_{12}{a}_{13}\\ a_{21}{a}_{22}{a}_{23}\\ a_{31}{a}_{32}{a}_{33}\end{array}\right|，A^{\ast }=\left|\begin{array}{l}{A}_{11}{A}_{21}{A}_{31}\\ A_{12}{A}_{22}{A}_{32}\\ A_{13}{A}_{23}{A}_{33}\end{array}\right|$$
需要注意的有2点，1是元素为代数余子式，2是排列方式和A的排列相比是转置的。

核心公式
$$A^{\ast }A=A{A}^{\ast }=|A|I$$
其中I为单位矩阵。

（2）逆矩阵$A^{-1}$
如果有$AB=BA=I$，则B为A的逆矩阵，记$B=A^{-1}$.
重要公式：
Ⅰ. 求逆公式：$A^{-1}=\frac{A^{\ast }}{|A|}$
Ⅱ. 可逆的充要条件： $|A|\ne 0$

(3)$A^{\ast },A^{-1},|A|的性质$

1. 伴随矩阵$A\ast$性质：
   ①$|A^{\ast }|=|A{|}^{n-1}$
   ②$(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
   ③$A^{\ast }=|A|A^{-1}$
   ④$(kA{)}^{\ast }=k^{n-1}{A}^{\ast }$
2. 逆矩阵$A^{-1}$性质：
   ①$(A^{-1}{)}^{-1}=A$
   ②$(AB{)}^{-1}=B^{-1}{A}^{-1}$
   ③$(A^{\top }{)}^{-1}=(A^{-1}{)}^{\top }$
   ④$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$
3. 方阵的行列式$|A|$性质：
   ①$|A^{\top }|=|A|$
   ②$|kA|=k^n|A|$
   ③$|AB|=|A||B|$

初等变换，求逆和秩

1. 初等变换
   初等变换主要包括以下三种操作：
   (1) 两行互换
   (2) 常数乘某一行
   (3) 某两行加减操作

初等变换的目的是变成行阶梯形矩阵

2. 求逆矩阵
   对于2阶可以通过记忆直接给出：口诀为主对调，副变号，式倒数。
   公式为：
   $$A=\left(\begin{array}{l}ab\\ cd\end{array}\right)，A^{-1}=\frac{1}{ad-bc}\left(\begin{array}{l}d-b\\ -ca\end{array}\right)$$
   对于3阶即以上，通过公式求解：
   $$A^{-1}=\frac{1}{|A|}{A}^{\ast }$$

另外可以通过初等变换，对矩阵$A$，求$A^{-1}$，则只需让$(A|I)$通过初等变换，把左边变为I，右边就是逆矩阵了，即变为$(I|A^{-1})$。实际上是两边同乘了一个$A^{-1}$。

3. 矩阵的秩
   （1）秩是什么
   秩就是矩阵A化简到行最简矩阵时，不全为0的行的个数。
   （2）秩的性质：
   ①$A_{m\times n},R(A)\le \min \{m,n\}$。秩小于维数中小的那个。
   ②$A$为方阵，$R(A) = n $ 等价于 $|A|\ne 0$，$R(A)<n$等价于$|A|=0$。方阵的秩小于阶数则行列式为0。
   ③$R(A^{\top })=R(A)=R(kA),k\ne 0$。常数不改变秩。
   ④$R(AB)\le R(A),R(AB)\le R(B)$ // 矩阵的秩越乘越小。

向量

1. 线性表示
   定义：给定n维向量组A：${\alpha }_1,{\alpha }_2,...,{\alpha }_m,$和向量$\beta$，如果存在一组数$k_1,k_2,...,k_m$，使得$\beta =k_1{\alpha }_1+k_2{\alpha }_2+...+k_m{\alpha }_m$，则称向量$\beta$可由向量组A线性表示。

其实就是B能用A表示出来。

2. 线性相关
   ①给定n维向量组A：${\alpha }_1,{\alpha }_2,...,{\alpha }_m,$，存在一组不全为0的数$k_1,k_2,...,k_m$，使得$k_1{\alpha }_1+k_2{\alpha }_2+...+k_m{\alpha }_m=0$，则称向量组A线性相关，否则线性无关。
   ②若$R({\alpha }_1,{\alpha }_2,...,{\alpha }_m)<m$则向量线性相关，若相等则线性无关，秩的角度判断。
   ③${\alpha }_1,{\alpha }_2,...,{\alpha }_n$为n维列向量，则:
   $|{\alpha }_1,{\alpha }_2,...,{\alpha }_n|=0$等价于${\alpha }_1,{\alpha }_2,...,{\alpha }_n$线性相关。
   $|{\alpha }_1,{\alpha }_2,...,{\alpha }_n|\ne 0$等价于${\alpha }_1,{\alpha }_2,...,{\alpha }_n$线性无关。

3. 极大线性无关组
   向量组${\alpha }_1,{\alpha }_2,...,{\alpha }_s,$的部分向量${\alpha }_{i1},{\alpha }_{i2},...,{\alpha }_{ir},$满足条件：
   （1）${\alpha }_{i1},{\alpha }_{i2},...,{\alpha }_{ir}$线性无关。
   （2）${\alpha }_1,{\alpha }_2,...,{\alpha }_s,$中的任一向量均可由它们线性表示，则称向量组${\alpha }_{i1},{\alpha }_{i2},...,{\alpha }_{ir}$为向量组${\alpha }_1,{\alpha }_2,...,{\alpha }_s,$的一个极大线性无关组。

解方程组

1. 齐次线性方程组$A_{m\times n}x=0$
   解的判定：
   （1）$R(A)=n$可以推出$A_{m\times n}x=0$只有零解。
   （2）$R(A)<n$可以推出$A_{m\times n}x=0$有非零解，且有n-R(A)个无关向量。

2. 非齐次线性方程组$A_{m\times n}x=b$
   解的判定：
   (1)$R(A)=R(A|b)=n$，方程组有唯一解。
   (2)$R(A)=R(A|b)<n$，方程组有无穷解。
   (3)$R(A)\ne R(A|b)$，方程组无解。

特征值与特征向量

1. 求特征值、特征向量：
   （1）特征值：$|A-\lambda I|=0$，解出lambda即为特征值，特征值实际上是通过矩阵A进行线性变换的特征向量缩放值。
   （2）$|A-\lambda I|=0$化简到行阶梯型矩阵，求它的通解就是特征向量。

2. 特征值的性质
   ①特征值的和等于主对角元素的和，即矩阵A的迹。
   ②特征值的积等于矩阵A对应的行列式。
   ③若A的特征值为$\lambda$，则有下面的表格：

矩阵	$kA$	$A^2$	$aA+bI$	$A^m$	$A^{-1}$	$A^{\ast }$
特征值	$k\lambda$	${\lambda }^2$	$a\lambda +b$	${\lambda }^m$	$\frac{1}{\lambda }$	$\frac{|A|}{\lambda }$

3. 相似对角化
   方阵对角化：
   ①求特征值:${\lambda }_1,{\lambda }_2,...,{\lambda }_n$.
   ②求特征向量：${\alpha }_1,{\alpha }_2,...,{\alpha }_n$.
   ③令$P=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$
   那么方阵对角化$P^{-1}AP$就是主对角线全为特征值，其他为0的方阵。

方阵对角化判定，满足这两个条件：
①A有n个线性无关的特征向量
②无关特征向量个数=重特征值重数

4. 正交相似对角化
   标准化公式：${\alpha }_1,{\alpha }_2$
   ①施密特正交化：
   $$\begin{gathered} {\beta }_1={\alpha }_1 \\ {\beta }_2={\alpha }_2-\frac{⟨{\alpha }_2,{\beta }_1⟩}{⟨{\beta }_1,{\beta }_1⟩}{\beta }_1 \end{gathered}$$
   ②单位化：
   $$e_1=\frac{{\beta }_1}{\Vert {\beta }_1\Vert },e_2=\frac{{\beta }_2}{\Vert {\beta }_2\Vert },$$
   其中$⟨{\alpha }_2,{\beta }_1⟩$表示求其中两个变量的内积，$\Vert {\beta }_2\Vert$表示向量的模。

二次型

1. 二次型基本概念
   二次齐次，所有项都是二次，包括$x_1^2$和$x_1{x}_2$这种形式，用矩阵表示时，平方的前面系数放在矩阵的主对角线，其他的如$x_1{x}_2$前面的系数放在（1，2）和（2，1）两个位置，并除以2。没有的位置时0。

2. 化二次型为标准型
   即把二次型的矩阵，进行正交相似对角化。得到正交矩阵Q，进行正交变换：$x=Qy$。标准型为：$x={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+...+{\lambda }_n{y}_n^2$，其中${\lambda }_n$为特征值。

3. 正定性
   判断二次型矩阵是否正定：
   方法1：顺序主子式
   三个顺序主子式全大于0，就正定，顺序主子式即对矩阵分别求1，2，…，n阶行列式。
   方法2：特征值
   首先求出特征值，特征值全是正，就正定。