深度学习数学篇——线性代数

线性代数

• 理解线性

  • 在一维空间看到一条线，二维空间看到个平面， 三维以上超平面，反正直的，均匀的。

• 什么叫线性的问题解决

• 很多非线性问题可以通过线性问题来解决。

• 线性方程组
  以前我们是用的消元法，现在还是流行用矩阵来解决这些问题。
  

• 线性可分和线性不可分
  

  • 在一个空间内能够把两个东西分开，在超平面内能把这些分开。

• 理解过拟合
  -

  参数量过多，数据太少，导致xy可以采取任何值，最后导致无穷解
  参数量过少，数据太多，导致解决不了，最终模型不够聪明，导致无法算出。

• 核方法 - 解决非线性问题可以采用非线性函数解决问题，也可以采取核函数升维解决问题。

• 张量

  • 标量 - 0维张量
  • 向量 - 一维张量维
  • 矩阵 - 二维张量，向量组合在一起就叫做矩阵
  • 张量 - 三维以上，张量

• 范数
  

  • 衡量向量大小
  • 二范数，向量的模。
  • 0范数表示非0的个数，1范数就是绝对值，2范数就是模长距离。
  • 谱范数

• 归一化 Normalize

  • 将数据限制到[-1,1]的操作
  • 利于反向传播
  • 常用归一化 二范数归一化

• 行列式

  • 衡量矩阵大小
  • 具体如何计算，需要计算机去算。
  • 行列相等叫做方阵

• 常用的矩阵

  • 上三角阵
  • 下三角阵
  • 0矩阵
  • 1矩阵
  • 单位矩阵

• 内积与投影
  
  一个向量在另外一个向量上的投影，判断两个向量之间的相似程度

• 余弦相似度
  
  判断两个向量之间的相似程度。判断正相关，负相关
  最大正相关，最大负相关，垂直就是不相关。
  

• 相关性
  空间变换中调整其中一个轴的值，导致另外一个轴的值发生变化，可以理解为这两个轴相关。

  • 垂直一定不相关，但是不相关不一定垂直

• 线性变换

  • 点移动，坐标系不变
  • 坐标系变，点不变。
  • 改变整个空间，让整个坐标系一起移动
  • 变换矩阵
  • 向量乘以一个变换矩阵就等于这个矩阵做了一个线性变换，得到一个新的向量。
  • 矩阵乘法的意义：线性变换的意义，就是乘以一个变换矩阵得到一个新的张量。

• 仿射变换

  • 线性变换是一种特殊的仿射变换，图像的旋转，平移什么的，都只需要乘以一个变换矩阵。

• 特征方程
  
  一个向量经过变换矩阵，再投影到x轴上，与这个向量乘以一个标量投影到x轴上结果等价。
  特征向量就是轴。
  计算需要浮点数

• 相似矩阵
  
  AB矩阵等价，称为相似矩阵。

• 奇异值分解

  • 
    余弦相似度，斜对角阵。
    对角阵乘以一个矩阵好算。

• 谱范数

  • 当不上方阵时，求得伪逆，叫做奇异值。称为谱。