机器学习必备数学知识

学习机器学习需要一定的数学做支撑，本文对机器学习中用到的数学知识做了总结，在入门机器学习之前看一下不会造成上来就懵逼的状态。由于编辑公式比较麻烦，本文通过截图展示，涉及微积分、概率论、线性代数和凸优化，篇幅较长，图片不要脸多，请在wifi在食用。

微积分

极限

极限思想是微积分的基本思想，有数列的极限、函数的极限等，我们基本是用到函数的期限，下面给出定义。

函数极限的定义

百度百科

重要极限

image.png

image.png

无穷小阶数

image.png

导数

image.png

求导法则

image.png

image.png

image.png

方向导数

在函数定义域的内点，对某一方向求导得到的导数。一般为二元函数和三元函数的方向导数，方向导数可分为沿直线方向和沿曲线方向的方向导数。

----方向导数的定义

image.png

方向角是从正北或正南方向，到目标方向所形成的，小于九十度的夹角。

梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

在微分中，对多元函数的各变量求偏导数，并将各偏导数以向量形式写出来，即为梯度。

image.png

i是x轴单位向量，j是y轴单位向量，k是z轴单位向量。

泰勒公式（级数）

image.png

image.png

image.png

黎曼积分

柯西把牛顿，莱布尼兹时代的定积分严格化了，但只能处理有有限个不连续点的情况。出于傅立叶级数的需要，黎曼把这个柯西的定义推广了，首先提出了可积性和连续性的分离，可以处理可数个不连续点的问题，并提出了黎曼可积的充要条件。

image.png

----区间分割

image.png

----黎曼和（面积）

image.png

注意，这里有点错误，求矩形面积的高是ti的函数值。

----黎曼积分存在的充要条件

image.png

https://baike.baidu.com/item/%E9%BB%8E%E6%9B%BC%E7%A7%AF%E5%88%86/4642066?fr=aladdin#3

计算局部极值

image.png

牛顿法求函数局部极值

image.png

----函数可微的充要条件：

对于一元函数而言,可微必可导,可导必可微,这是充要条件；

对于二元函数:

必要条件

若函数在某点可微分，则函数在该点必连续；

若二元函数在某点可微分，则该函数在该点对x和y的偏导数必存在。

充分条件

若函数对x和y的偏导数在这点的某一邻域内都存在，且均在这点连续，则该函数在这点可微

----牛顿法求函数极值的特点：