2.机器学习相关数学基础

1.高等数学

1）函数

 

2）极限

3）导数

4）极值和最值

极值点：是在一阶导数等于0的点,2阶导大于0是极小值,2阶导小于0是极大值.2阶导等于0是拐点,不是极值点.

最值：在定义域内的最大最小值

5）泰勒级数

 

 

6）梯度

7）梯度下降

2.线性代数

1）基本概念

2）行列式

 

 

3）矩阵

 

 

4）最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

3.概率论

1）排列组合

所谓排列，就是指从给定个数的元素中取出指定个数的元素进行排序。组合则是指从给定个数的元素中仅仅取出指定个数的元素，不考虑排序。

排列组合的中心问题是研究给定要求的排列和组合可能出现的情况总数。 排列组合与古典概率论关系密切。

2）概率

 

 

 

3）贝叶斯定理

 

 

4）概率分布

5）期望和方差

3.作业要求：

用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”

梯度：在向量微积分中，标量场的梯度是一个向量场。标量场中某一点的梯度指向在这点标量场增长最快的方向（当然要比较的话必须固定方向的长度），梯度的绝对值是长度为1的方向中函数最大的增加率。

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的内积来得到斜度。梯度的数值有时也被称为梯度。

梯度下降：首先，要明确梯度是一个向量，是一个n元函数f关于n个变量的偏导数，比如三元函数f的梯度为(f_x,f_y,f_z)，二元函数f的梯度为(f_x,f_y），一元函数f的梯度为f_x。然后要明白梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向。

贝叶斯定理: 为了估测一个事件A的真实概率，我们对该事件加入一个实验结果，即似然函数，当似然函数大于1，则先验概率被增强，A事件发生可能性变大：当似然函数小于1，则先验概率被削弱，A事件发生可能性变小。