算法工程狮二、数学基础 线性代数

线性代数内容都很连贯，整体就是 [ 行列式-->矩阵-->n维向量-->线性方程组-->相似对角型-->二次型 ]。行列式就是一个值，行列式为0则对应线性方程组有多解，且对应矩阵不可逆，若为0则解唯一。n维向量可由矩阵表示。线性方程组又可表示成n维向量的形式，有齐次和非齐次两种。
通过特征分解可以将方阵相似对角化，让矩阵的特征更直观的体现。一种有趣的思想是，矩阵可以看作一个变换，他作用在特定的正交基上，对每个维度进行拉伸和收缩。特征分解正是得到了这个正交基（特征向量）以及相应的收放系数（特征值）。其中，实对称矩阵一定可以正交相似对角化。
二次型与解方程组息息相关。我们通常关注的是如何将二次型转化为标准型，这里也会引申出正定负定的概念。转化为标准型后，每一个变量仅与自己相互作用，这和PCA降维很像啊。
学习线性代数我认为有两个作用。一是读论文能看懂每一步在干嘛，二是理解数据的并行处理。下面补充一下比较重要的知识点。

1.行列式

一切都要从行列式说起。行列式$D$可以通过行列展开式计算，即$D=a_{i1}A_{i1}+a_{i2}A_{i2}+a_{i3}A_{i3}+...+a_{in}A_{in}$，其中$A=(-1)^{i+j}M_{ij}$称为代数余子式，$M$为余子式。行列式的性质包括：

• 互换两行变号
• 如果两行相等则$D=0$（将这两行变号后，$-D=D$）
• $k\times D$等价于$D$的某一行/列乘上$k$（将行列式按此行展开，可以将k提出）
• 行列式某一行+另一行后，值不变
• 齐次线性方程组$AX=0$若要有非0解，需要$|A|=0$，即行列式奇异，如果不为0，则线性方程组只有唯一0解。

2.矩阵

最重要的一点，只有方阵才可以讨论其行列式及可逆性。这一部分的知识点连起来很好记，注：初等变换不改变行列式是否为0
$$\begin{array}{lcl} 矩阵满秩 \\\ \Leftrightarrow行列式不为0 \\\ \Leftrightarrow矩阵非奇异 \\\ \Leftrightarrow矩阵可表示为一系列初等矩阵的乘积 \\\ \Leftrightarrow矩阵与E等价 \\\ \Leftrightarrow矩阵可逆 \\\ \Leftrightarrow方程组有唯一解 \end{array}$$
其他的知识点，如下：

• 同阶方阵$|AB|=|A||B|$
• 伴随阵$A\cdot A^* = A^*\cdot A = |A|E$
• 由伴随阵我们也就得到了逆矩阵的求解方式之一：$A^{-1}=\dfrac{A^*}{|A|}$

3.n维向量

• 首先要了解线性相关：1个向量可由其余m-1个向量线性表示，称作线性相关，所以任意包含0向量的向量组均线性相关
• m个n维向量如果线性相关，则秩$ r(A)_ {m\times n}n时，一定线性相关，因为 $ r(A)_ {m\times n} <=n
• 矩阵相乘秩不会增大$r(A\cdot B)<=min\{r(A),r(B)\}$
• 正交阵不仅要求行列正交，并且行列都是单位向量，即单位正交阵$|A|=_-^+1,AA^T=E$

4.线性方程组

m个n维向量（m个方程，n个未知变量）组成的方程组，当其系数矩阵A(m*n)的秩r(A)$$\Bigg( \begin{array}{lcl} 1 \\\ 2 \\\ ... \\\ m \end{array} \Bigg)x_1+\Bigg( \begin{array}{lcl} 1 \\\ 2 \\\ ... \\\ m \end{array} \Bigg)x_2+...+\Bigg( \begin{array}{lcl} 1 \\\ 2 \\\ ... \\\ m \end{array} \Bigg)x_n=0$$
初等变换等价标准型：
$$\bold I_{m\times n}=\Bigg( \begin{array}{lcl} 1\quad\quad\space b_{1,1}\space...\space b_{1,n-r}\\\ \quad...\quad b_{2,1}\space...\space b_{2,n-r} \\\ \quad\quad 1 \space b_{r,1}\space...\space b_{r,n-r} \\\ 0 \quad...\quad 0 \quad ... \quad 0 \\\ 0 \quad...\quad 0 \quad ... \quad 0 \end{array} \Bigg)$$
对于非齐次方程$AX=b$，只有当$r(A)=r(\bar{A})$时，方程组有唯一解，后者为增广矩阵。类比于线性模型的数据集，只有当特征数>样本数时，若特征无关（PCA降维前驱），则一定线性可分，label一定可以线性表示。当特征数少于样本数时，则特征只能线性表示样本中的一类点，而不能表示全部。

5.相似对角型和二次型

• $A\sim B:B=P^{-1}AP,|A|=|B|$
• 特征向量与特征值：$A\alpha=\lambda\alpha，解特征值可通过解方程(A-\lambda E)\alpha=0得到$
• 相似对角化：实对称矩阵一定可以相似对角化，且是正交相似
• 正交合同：$A=P^TBP$，可以发现，相似和正交合同一定是等价标准型，但是相似不仅要求等价标准，还要求行列变换互逆；而正交合同则要求行列变换互为转置。
• 二次型一定可以化为标准型，因为实对称矩阵正交相似即合同
• 实对称矩阵正定则各阶主子式>0，则特征值全>0
• 二次型变换与PCA神似。都是正交基的转换，不过PCA会涉及到降维

矩阵正定

判断矩阵正定有多种方式，常用的就是：

• 顺序主子式>0
• $A=C^TC$
• 合同于E
• 特征值全为正

6.范数

范数(norm)经常作为参数约束使用，像多任务学习中的约束项、目标函数中的权重衰减、RNN中的梯度裁剪等都会用到范数。

向量范数

• L1范数:$||W||_1$，在每个位置的斜率相同均为1
• L2范数:$||W||_2$，与整体向量相关
• L2平方范数:$||W||_2^2$，每个元素仅与自身相关，但原点处增长十分缓慢
• 正无穷范数:$||x||_{+\infin}=max|x_i|$
• 负无穷范数:$||x||_{-\infin}=min|x_i|$

矩阵范数

• 矩阵F范数:$||A||_ F=\sqrt{\sum\limits_ {ij}A_{ij}^2} $，类似于向量L2范数
• 列和范数:$||A||_ 1=\max\limits_{1\leq j\leq n}\sum\limits_{i=1}^m|a_{ij}|$
• 行和范数:$||A||_ \infin=\max\limits_{1\leq i\leq m}\sum\limits_{j=1}^n|a_{ij}|$
• 核范数:奇异值之和
• L0、L1范数:类似于向量的L0和L1范数
• L2范数:$||A||_2=\sqrt{\lambda max(A^TA)}$
• $L_{2,1}$范数:每一列求L2范数后，再求L1范数

7.其他

对角阵

对角阵与X的矩阵乘积相当于将X的每个元素放大了Vi倍，这个性质应该很有用，虽然我也想不起来哪里有用
$$diag(V)\cdot X=V\bigodot X$$

正交阵

还是单独点一下，实际前面相似对角化提到过了，正交阵是单位正交，矩阵的逆和矩阵的转置相同
$$A^TA=AA^T=I$$

$$A^{-1}=A^T$$

特征分解

针对方阵我们有特征分解可以使用（前提是矩阵可逆），矩阵分解可以看作矩阵A作用于n个特征向量所组成的正交基，相当于在每个方向$V_i$上延展了特征值$\lambda_i$倍，对正交空间拉伸或收缩。特征分解经常用于各种降维算法里面，像PCA和LDA（线性判别分析，不是潜在迪利克雷分布模型）。有一些有趣的性质需要记一下：

• $A=Q\Lambda Q^{-1}$，前提是A有n个线性无关的特征向量，实对称矩阵一定可以相似对角化
• 如果A有0特征值，那么A将是奇异的。$Av=0$，所以A列向量线性相关，所以A不满秩，所以A不可逆，所以A奇异
• 半正定矩阵可保证$X^TAX>=0$

SVD

对于方阵有特征分解，那对于一般矩阵就可以使用奇异值分解。
$$A_{m\times n}=U_{m\times m}D_{m\times n}V^T_{n\times n}\begin{cases}U:AA^T的特征向量，左奇异向量 \\\ D:A^TA的特征值的平方根，奇异值 \\\ V^T:A^TA的特征向量，右奇异向量\end{cases}$$
奇异值分解作为一种矩阵分解方法，也经常用到降维场景，像PCA，相较于特征分解的优点是：在使用右奇异向量对特征进行降维时，避免了与数据量线性相关，速度更快。
奇异值有个良好的特性，就是奇异值减小的特别快，前10%甚至前1%就占全部奇异值99%以上，因此可以使用前r个奇异值描述矩阵。

理解

行列式|D|描述矩阵乘之后空间体积大小。特征值/奇异值代表在特征向量方向上缩放对应的λ倍，舍弃小的λ或δ，相当于舍弃了变换小的某一正交基向量，因为在此维度上，数据变化非常小，体现不出特征，丢弃变化小的维度相当于去噪。比如，三维空间上，X方向上的数据几乎很少变化，Z=f(X,Y)更与y相关，那么直接将X舍弃，Z=g(Y)精度也不会损失太多。
具体到PCA，$A=B^TB$，方差方向小的λ，数据不怎么变化，去掉也没关系，当特征是相关的，协方差会很小，对应的λ小，删掉λ对应方向等于去相关，同时方差变化小，也意味着噪声方向，相当于去噪。

Moore-Penrose伪逆

奇异矩阵不可逆，那有没有办法求逆呢？答案是有的，对于$AX=y$，矩阵A的伪逆运算$A^+=\lim\limits_{\alpha\rightarrow 0}(A^T+\alpha I)^{-1}A^T$，实际中经常会用奇异值分解进行伪逆求解$A^+=VD^+U^T$。伪逆运算可以这么理解，加入正则化后，使得欠定问题可定。

• 当A行数<列数时，$X=A^+y$是$||x||_2$最小的一个
• 当行数>列数时，可能无解，有解时得到的x使得$||AX-y||_2$最小

可以看出，这就是正则化的作用。

迹运算

迹运算就是对角线元素的乘积。最有用的一条性质是：$||A||_F=\sqrt{Tr(AA^T)}$

行列式

行列式D=特征值的乘积。$|A-\lambda E|=(\lambda-a_1)...(\lambda-a_n)，令\lambda=0,则|A|=a_1a_2...a_n$
行列式的绝对值衡量了矩阵参与乘积后体积扩大或者缩小了多少。当|D|=0，说明空间沿着某一维完全收缩了；当|D|=1，说明空间体积保持不变。