机器学习数学基础——线性代数部分

1. 向量基本运算

(1) 实数与向量的积的运算，设$\lambda ,\mu$为实数：

• 结合律：$\lambda (\mu a)=(\lambda \mu )a$
• 第一分配律：$(\lambda +\mu )a=\lambda a+\mu a$
• 第二分配律：$\lambda (a+b)=\lambda a+\lambda b$
  (2) 向量数量积的运算律：
• $a\cdot b=b\cdot a$
• $(\lambda a)\cdot b=\lambda (a\cdot b)=\lambda a\cdot b=a\cdot (\lambda b)$
• (a+b)·c=a·c+b·c
  (3) 平面向量基本定理：
    如果在同一个平面内存在两个不共线的向量，那么这个平面内的任意向量，都可由两个不共线向量唯一表示。
  (4) 向量的内积(或数量积):
    $a\cdot b=|a||b|\cos \theta$其几何意义是$a$的长度$|a|$与$b$在$a$的方向上的投影$|b|\cos \theta$的乘积

---

2. 向量与矩阵的范数(L1范数，L2范数，Lp范数)

  范数简单来说就是一种距离的定义，是一种强化了的距离概念，比距离多了一条数乘的运算法则。通常将其作为距离来进行理解。
  范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。
0范数：向量中非零元素的个数。

1-范数：为绝对值之和
  向量范数：$||x|{|}_1={\sum }_{i=1}^N|x_i|$，即向量元素绝对值之和
  矩阵范数：假设矩阵$n$行$m$列，那么其一阶范数$||A|{|}_1={\max }_{1\le j\le n}{\sum }_{i=1}^m|a_{i,j}|$，即矩阵中所有列向量绝对值之和的最大值。

2-范数：通常意义上的模
  向量范数：$||x|{|}_2=\sqrt{{\sum }_{i=1}^N{x}_i^2}$，即向量元素的平方和再开根。
  矩阵范数：$||A|{|}_2=\sqrt{{\lambda }_{\max }(A^{T}A)}=\sqrt{ma{x}_{1\le i\le n}|{\lambda }_i|}$，即矩阵$A^{T}A$的最大特征值开平方。

$\infty$-范数：所有元素的绝对值的最大值
  向量范数：$||x|{|}_{\infty }=ma{x}_i|x_i|$
  矩阵范数：$||A|{|}_{\infty }=ma{x}_i{\sum }_{j=1}^N|a_{i,j}|$

p-范数
  向量范数：$||x|{|}_p=({\sum }_{i=1}^N|x_i{|}^p{)}^{\frac{1}{p}}$

---

3. 矩阵的逆

概念：
  设有一个方阵$A$，若存在一个方阵$B$，使得$AB=I$或$BA=I$，则称$B$是$A$的逆矩阵，用$A_{-1}$表示（事实上若$AB=I$,则必有$BA=I$）。
存在逆矩阵的条件：
  矩阵的行列式不为0(行列式为0时称为奇异矩阵)
性质：

• 矩阵A可逆的充要条件是A的行列式不等于0。
• 可逆矩阵一定是方阵。
• 如果矩阵A是可逆的，A的逆矩阵是唯一的。
• 可逆矩阵也被称为非奇异矩阵、满秩矩阵。
• 两个可逆矩阵的乘积依然可逆。
• 可逆矩阵的转置矩阵也可逆。
• 矩阵可逆当且仅当它是满秩矩阵。

---

4. 矩阵的特征值与特征向量

如果是把矩阵看作是运动，对于运动而言，最重要的就是运动的速度和方向，那么：

• 特征值就是运动的速度
• 特征向量就是运动的方向
  二者也可以称为矩阵的特征。
  特征值计算方法：
  
  特征向量计算方法：
  
  

相似矩阵

---

5. 矩阵的奇异值分解（此前文章）

---

参考：
https://blog.csdn.net/a493823882/article/details/80569888
https://www.zhihu.com/question/20473040/answer/102907063 知乎作者：魏通
http://www.cnblogs.com/MengYan-LongYou/p/4050862.html
看过的对矩阵理解最明白的一篇了https://blog.csdn.net/myan/article/details/649018/
https://www.matongxue.com/madocs/228.html
同济大学《线性代数》（第五版）