1.机器学习数学基础--高等

高等数学基础

本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。

概要

• 极限定理
• 夹逼定理
• 积分微分基础(导数定义，常见函数求导，导数运算法则，复合函数求导)
• 凹凸函数
• 牛顿-莱布尼
• Taylor公式、Maclaurin公式
• 方向导数和梯度
• Gamma函数
• Jensen不等式
• 拉格朗日乘子法

1. 极限定理

2. 夹逼定理##

6a600c338744ebf86edf86dfd9f9d72a6159a7a0.jpg

3. 积分微分基础##

导数的定义##

图片1.png

常见的函数求导##

图片1.png

导数运算法则##

图片1.png

求导运算

图片1.png

复合函数求导

定义

图片1.png

简单应用

图片1.png

进阶应用

图片1.png

注：图中第一步到第二步采用的是分步积分法

4.凹凸函数

凸集定义

图片1.png

曲线凸凹性

图片1.png

凹凸性判别

图片1.png

凸函数的一般形式

图片1.png

一阶可微

图片1.png

二阶可微

图片1.png

解释如下图

图片1.png

图中举例一个二元函数，一阶导是向量，二阶导是矩阵，矩阵的值大于0,这说明这是个正定矩阵，说明对于的函数是凸函数

凸函数举例

图片1.png

5.牛顿-莱布尼公式

图片1.png

6.Taylor公式

图片1.png

可以从上图看到，Taylor公式在x=0处展开，就是Maclaurin公式。
实践中，如果x的值过大，导致函数很晚才收敛，前面的计算数值非常大，造成不方便，所以我们会进行一定程度上的变换

图片1.png

上图的推导可以看出，任何一个x=N+R，R都是<=0.5的，都可以得到最后一个结论，从而很快速的求值

7.方向导数和梯度

图片1.png

图片1.png

8.Gamma函数

图片1.png

图片1.png

图片1.png

    上图推导我们可以看到，第三步分步积分，第四部，把前面部分打开，
    第一块是无穷*0，但是0的阶乘比无穷高，所以等于0，
    第二块，0*1 = 0，所以只剩后面部分了 

9.Jensen不等式

图片1.png

应用

图片1.png

图片1.png

11.拉格朗日乘子法

图片1.png

图片1.png