人工智能必备数学基础--精华笔记

废话

听说这年头博客和github跟名片一样？那我干脆把笔记记在博客好了，反正云上笔记也不容易丢。课程跟的是唐宇迪的人工智能必备数学基础，主要记录一些自己的理解和搜集的有助于理解的资料，方便回顾时迅速get到要点。网课CSDN学院,网易云课堂和腾讯课堂都有（mai bu qi de hua dao ban ye you），鼓励各位支持正版哈，授课老师属于少数的不废话的好老师。回归正题，研究ML（机器学习）、DL（深度学习）方面的童鞋没有数学支撑的话读论文或者搞创新都是很吃力的，磨刀不误砍柴工。

笔记

高等数学基础

函数

1. $y=f(x)x：自变量y：因变量$
2. $函数值表达形式：y_0=y{\mid }_x=x_0=f(x_0)$
3. $函数俩种表达式：$eg.
   $显函数y=x^2+1$
   $隐函数F(x,y)=0即x^2-y+1=0$
4. $偶函数：f(-x)=f(x)$
5. $奇函数：f(-x)=-f(x)$
6. $周期性：f(x+T)=f(x)$
7. $单调性：$
   

极限

1. 数列：u₁，u₂，u₃，…，u_n ，… 其中u_n叫做通项
   n → $\infty$ 时，若通项趋近于常数C，则称数列收敛于A否则称数列为发散

2. 趋近符号含义
   $x\to x_0：当x从x_0两侧趋近于x_0时$
   $x\to x_0^{+}：当x从x0右侧趋近于x_0时$
   $x\to x_0^{-}：当x从x0左侧趋近于x_0时$

3. 极限

4. 无穷小
   以零为极限 eg.
   ${\lim }_{\Delta x\to \infty }\frac{1}{x}=0,则\frac{1}{x}是x\to \infty 时的无穷小$
   ${\lim }_{\Delta x\to 2}(3x-6)=0,则3x-6是x\to 2时的无穷小$

   ①无限个无穷小之和不一定是无穷小。
   ${\lim }_{n\to \infty }(\frac{1}{n^2}+\frac{2}{n^2}+\dots +\frac{n}{n^2})={\lim }_{n\to \infty }\frac{\frac{n(n+1)}{2}}{n^2}={\lim }_{n\to \infty }\frac{n+1}{2n}=\frac{1}{2}$

   ②无穷小的商不一定是无穷小。
   ${\lim }_{x\to 0}\frac{x}{2x}=\frac{1}{2}{\lim }_{x\to 0}\frac{x^2}{2x}=0{\lim }_{x\to 0}\frac{2x}{x^2}=\infty$

   ③无穷小的比较
   ${\lim }_{x\to x_0}\alpha (x)=0{\lim }_{x\to x_0}\beta (x)=0$

   $li{m}_{x\to x_0}\frac{\alpha (x)}{\beta (x)}=0，则\alpha 比\beta 高阶$

   $li{m}_{x\to x_0}\frac{\alpha (x)}{\beta (x)}=\infty ，则\alpha 比\beta 低阶$

   $li{m}_{x\to x_0}\frac{\alpha (x)}{\beta (x)}=C̸=0，则\alpha 与\beta 同阶$

函数的连续性

$设函数f(x)在点x_0的某邻域内有定义,如果当自变量的改变量△x趋近于零时,相应函数的改变量△y也趋近于零,则称y=f(x)在点x_0处连续$

条件

1. 函数在该点处有定义
2. 函数在该点处极限存在
3. 极限值等于函数值

导数

$如果平均变化率的极限存在{\lim }_{x\to 0}\frac{\Delta x}{\Delta y}={\lim }_{x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$
$则称此极限为函数y=f(x)在点x_0处的导数,f^{\prime }(x_0),y^{\prime }{\mid }_{x=x_0},\frac{dy}{dx}{\mid }_{x=x_0},\frac{df(x)}{dx}{\mid }_{x=x_0}$

偏导数

$设函数z=f(x,y)在点(x_0,y_0)的某个邻域内有定义，$$定y=y_0$$，一元函数f(x,y_0)在点x=x_0处可导，即极限{\lim }_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=A，则称A为函数：z=f(x,y)在点(x_0,y_0)处关于自变量x的偏导数，记作f_x(x_0,y_0)或\frac{\partial z}{\partial x}{\mid }_{x=x_0},\frac{\partial f}{\partial x}{\mid }_{x=x_0},Z_x{\mid }_{x=x_0}$

几何意义
$\frac{\partial }{\partial x}f(x,y_0){\mid }_{x=x0}是曲线y=\{\begin{array}{l}z=f(x,y)\\ y=y_0\end{array}在点M_0处的切线M_0{T}_x对x轴的斜率$

$eg.求f(x,y)=x^2+3xy+y^2在点(1,2)处的偏导数$
$f_x(x,y)=2x+3y{f}_x(1,2)=8$
$f_y(x,y)=3x+2y{f}_y(1,2)=7$

方向导数

设 $l$ 为任意一个方向向量
$z=f(x,y)$
$\frac{\partial f}{\partial l}={\lim }_{\rho \to 0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho =\sqrt{\Delta x^2+\Delta y^2}}=\frac{\partial f}{\partial x}\cos \psi +\frac{\partial f}{\partial y}\sin \psi$

$方向导数为某一方向向量l所在平面与函数相交形成的曲线在x_0处的导数$
$偏导数是l为坐标轴方向的方向导数$

梯度

函数在某点的梯度是一个方向向量(x,y),它的方向等于方向导数最大值取得的方向一致，其大小正好是最大的方向导数 eg.

2019.1.13　7:28

微积分

求曲边面积

1. 微分矩形：把曲面分为无穷个小矩形，则曲面面积近似于无数个小矩形面积的总和
   $S={\int }_a^{b}f(x)\Delta x(当\Delta x\to 0时,\xi =f(x))$

2. 函数意义替换：把$f(x)$当作$F(x)$的导函数$F^{\prime }(x)$，则

   $f(x)在\Delta x上的积分{\int }_a^{b}f(x)dx$
   $=F^{\prime }(x)的积分{\int }_a^b{F}^{\prime }(x)dx$
   $={\int }_a^b\frac{dy}{dx}\cdot dx={\int }_a^{b}dy(dx\to 0)$
   $\approx 函数F(x)在[a,b]区间的增量{\int }_a^b\Delta y$
   $=F(b)-F(a)$
   导函数线下面积=原函数改变量
   
   $x\to 0时，\Delta y=dy$

定积分

第一中值定理

$\xi 左移，求得的S偏小\xi 右移，求得的S偏大$
$故必存在\xi ，使求得的S刚刚好$

牛顿—莱布尼茨公式

$图中f(x)表示上述F(x)$
eg.

2019.2.4　3:48

泰勒公式与拉格朗日

泰勒公式出发点(函数化简)

1. 用简单的熟悉的多项式来近似代替复杂的函数
2. 易计算函数值，导数与积分仍是多项式多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。易计算函数值，导数与积分仍是多项式
3. 多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。多项式由它的系数完全确定，其系数又由它在一点的函数值及其导数所确定。

以直代曲

$当(x-x_0)\to 0时，f(x)=f(x_0)+{\int }_{x_0}^x{f}^{\prime }(x)(x-x_0)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)$

一点一世界

泰勒多项式

$P_n(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+\dots +\frac{f^{(n)}(x0)}{n!}(x-x_0{)}^n$
$称为f(x)在x_0关于(x-x_0)的n阶泰勒多项式$

推导变换过程

$f(a+\Delta x)=f(a)+{\int }_a^{a+\Delta x}{f}^{\prime }(x)dx（牛顿—莱布尼茨公式）$
　　　　　　$=f(a)+f^{\prime }(a)\Delta x+\frac{f^{\prime \prime }(a)}{2}\Delta x^2+{\int }_0^{\Delta x}{\int }_a^{a+t}{\int }_a^{a+t_1}{f}^{\prime \prime \prime }(x)dxdxdt（换元x=a+t）$
　　　　　　
具体过程请参考这篇博客

任意多阶可导函数可被展开为泰勒多项式以简化函数表达

麦克劳林公式

指定$x_0=0的泰勒公式$
$f(x)=f(0)+f^{\prime }(x)x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\dots +\frac{f^{(n)}(0)}{n!}{x}^n+\frac{f^{(n+1)(\theta x)}}{(n+1)!}{x}^{n+1}(0<\theta <1)$
$f(x)\approx f(0)+f^{\prime }(x)x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\dots +\frac{f^{(n)}(0)}{n!}{x}^n$

多项式逼近

多阶导数的意义
eg. $f(x)=e^x$

阶数

指数项的意义

阶乘

控制x小时低阶数大权重，x大时高阶数大权重（初始系数）

拉格朗日乘子法(求满足约束时函数极值)

$函数：f(x,y)约束：g(x,y)=C求满足约束条件的函数极值$


当 二维曲线 $g(x,y)=C$ 与函数 $z=f(x,y)$ 的某条等高线(也是 二维曲线 ) $f(x,y)=d(常数)$ 相切时取得极值，此时俩曲线在切点处的法向量即 梯度向量(方向导数取最大值时的 $l$ 方向，二维向量) 平行（此时梯度可能不相等）

2019.2.5　17:53

线性代数基础

矩阵与行列式的区别

矩阵类型

方阵

三角矩阵

对角阵和单位矩阵

矩阵操作

矩阵数乘

矩阵乘法

矩阵结合律
$(AB)C=A(BC)$
$\lambda (AB)=(\lambda A)B=A(\lambda B)$

矩阵分配律
$A(B+C)=AB+AC$
$(B+C)A=BA+CA$

矩阵转置

对称矩阵

逆矩阵

矩阵的秩

指的矩阵的各行向量的极大线性无关组数即相互不平行的行向量数
零向量可看作与任何向量平行
矩阵的行秩=列秩
eg. 矩阵只需秩序为3

向量的内积

对应位置相乘后求和

内积的几何意义
物理背景下力做的功

图片来源

向量的长度

向量的正交

向量正交 ⇔ 垂直 ⇔ 内积为零

规范正交基

2019.2.6　14:16

特征值与矩阵分解

特征值与特征向量

Continuously Updating……