线性代数与矩阵论知识点总结

线性代数在ML和DL中扮演着非常重要的角色，虽然本科和研究生阶段修过线性代数与矩阵论，不过不用则废啊，最近还是想把这部分数据基础知识整理一下，加深理解，这样才能在机器学习与深度学习这条路上走的更远，包括微积分、最优化、随机过程、信息论等。

1. 向量及其运算

• 矩阵内积：两个向量对应分量之和。
  $$x^{T}y=\sum _{i=1}^n{x}_i{y}_i$$

• 线性模型可用内积表达
  $$w_1{x}_1+...+w_n{x}_n+b$$
  $$w^{T}x+b$$

• 两个向量内积为0，则正交

• 阿达马积：两个向量对应分量相乘，结果为相同维数向量
  $$x⨀y=(x_1{y}_1,...,x_n{y}_n{)}^T$$
  阿达马积可以简化问题的表述，在反向传播算法、各种梯度下降法中广泛使用。

• 向量的范数：向量模长的推广
  $$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{1/p}$$
  常用的是L1和L2范数

  • L1范数：所有分量绝对值之和
    $$||x|{|}_1=\sum _{i=1}^n|x_i|$$
  • L2范数（欧几里得范数）
    $$||x|{|}_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
    L1、L2范数被用于构造正则项

• 向量内积、模、夹角关系：
  $$x^{T}y=||x||||y||\cdot cos\theta$$

• 欧氏距离：点之间的距离:两个向量相减之后的L2范数
  $$||x-y||$$

• 解析几何

  • 平面解析几何中，点到直线距离：
    $$d=\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$$
  • 空间解析几何中，点到直线距离：
    $$d=\frac{|ax+by+cz+d|}{\sqrt{a^2+b^2+c^2}}$$
  • 推广到n维空间
    $$d=\frac{|w^{T}x+b|}{||w|{|}_2}$$
    此公式在SVM的推导时会用到，回想起手推SVM，真的是太恐怖了

• 线性相关性
  对于向量组$x_1,...x_l$,如果存在一组不全为0的数$k_1,...,k_l$，使得
  $$k_1{x}_1+k_2{x}_2+...+k_l{x}_l=0$$
  则称这组向量线性相关。如果不存在一组全不为0的数使得上式成立，则称这组向量线性无关，也就是线性独立。

  • 极大线性无关组

• 向量空间

2. 矩阵及其运算

矩阵的应用非常广泛，数据结构中的二维数组即为矩阵，在ML和DL中使用非常广泛。

2.1 各种矩阵

• 方阵
• 对角矩阵
• 对称矩阵
• 上\下三角矩阵
• 格拉姆矩阵
  $$\left[\begin{array}{cccc}{x}_1^T{x}_1& x_1^T{x}_2& \cdots & x_1^T{x}_n\\ x_2^T{x}_1& x_2^T{x}_2& \cdots & x_2^T{x}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_n^T{x}_1& x_n^T{x}_2& \cdots & x_n^T{x}_n\end{array}\right]\text{\hspace{1em}(G)}$$

2.2 基本运算

• 矩阵加减法
• 矩阵乘法
• 逆矩阵
• 矩阵的范数

3. 行列式

4.线性方程组

5. 特征值与特征向量

6.二次型

7. 矩阵分解