人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

---

---

3. 线性代数基础

- 向量

• 一维数组，几何意义是空间中的点，$n$ 维向量集合的全体构成了 $n$ 维欧式空间 $R^n$ ;

• 行向量(编程语言中把数据存为它)，列向量(数学上常用)；

• 向量运算

  • 加减：分量加减， $Error=\mathbf{y}-\hat{\mathbf{y}}$

  • 数乘：数和分量相乘，${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \mathbf{g}$

  • 向量的内积(点乘)：$X^{T}Y$

    np.dot(a,b)
    

  • 运算法则：$A+B+C=A+(B+C)$ ; $k\ast (X+Y)=kX+kY$

- 向量的范数

• 范数：${\Vert \mathbf{x}\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$; $p$ 为整数，向量变成标量；
• 1 范数是绝对值加和，记为 $L1$: ${\Vert \mathbf{x}\Vert }_1=\sum _{i=1}^n\left|x_i\right|$，曼哈顿距离；
• 2 范数是向量长度，向量的模，记为 $L2$: ${\Vert \mathbf{x}\Vert }_2=\sqrt{\sum _{i=1}^n{\left(x_i\right)}^2}$，欧式距离；
• 应用：$L1$ 正则项：$\sum _{i=1}^n\left|w_i\right|$；$L2$ 正则项：$\sum _{i=1}^n{\left|w_i\right|}^2$；正则项越小，模型容错性越强，防止过拟合；

- 特殊向量

• 0 向量：np.zeros(); 全 1 向量：np.ones();
• 稀疏向量(Sparse vector)；稠密向量(Dense vector)；one-hot 编码；
• 单位向量，长度为1；

- 矩阵

• 二维数组，方阵，对称矩阵：$a_{ij}=a_{ji}$

• 单位阵：np.identity()、np.eye()

• 矩阵运算：加减、数乘、转置(a.T、a.transpose(1,0))

• 矩阵的乘法：a*b a/b(按对应位相乘除)，np.dot(a,b) 是把第一个矩阵的每一行和第二个矩阵的每一列做内积。

• $A+B+C=A+(B+C)$; $(AB)C=A(BC)$; $(A+B)C=AC+BC$; $A(B+C)=AB+AC$; $AB\ne BA$

• 转置公式：$(AB{)}^T=B^T{A}^T$

- 逆矩阵

• 假设一个矩阵 $A$ (方阵)，有 $AB=BA=I$ ， $B=A^{-1}$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$，$(A^{-1}{)}^{-1}=A$，$(A^T{)}^{-1}=(A^{-1})T$
• np.linalg.inv(A) (linear algebra)

- 行列式

• 行列式把矩阵(方阵)变成一个标量。

$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$

$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{13}{a}_{22}{a}_{31}-a_{12}{a}_{21}{a}_{33}-a_{11}{a}_{23}{a}_{32}$$

• 行列式性质：$\left|AB\right|=\left|A\right|\left|B\right|$， $\left|A^{-1}\right|={\left|A\right|}^{-1}$，$\left|\alpha A\right|={\alpha }^n\left|A\right|$
• np.linalg.det(A)