【机器学习理论】第5部分 微积分基础

1、两边夹定理

如果函数满足下列条件：
（1）当时，有
（2）当时，有，那么当 ， 的极限存在。

2、极限的证明

3、极限存在定理

（1）单调有界数列一定有极限
（2）单增数列有上界，则其必有极限

4、二项展开式

5、自然常数

证明：

根据两边夹定理，可以知道函数的极限存在，极限为e.、

6、导数

设函数y=f(x)在点x0的某个邻域内有定义，当自变量x在x0处有增量Δx，(x0+Δx)也在该邻域内时，相应地函数取得增量Δy=f(x0+Δx)-f(x0)；如果Δy与Δx之比当Δx→0时极限存在，则称函数y=f(x)在点x0处可导，并称这个极限为函数y=f(x)在点x0处的导数记为f’(x0)，也记作y’│x=x0或dy/dx│x=x0，即

导数公式：

函数	原函数	导函数
常函数
幂函数
指数函数
对数函数
正弦函数
余弦函数

7、泰勒-麦克劳林公式

8、泰勒公式的应用

（1）数值计算：初等函数的计算（在原点出展开）


（2）考察基尼指数的图像、熵、分类误差率三者之间的关系

9、方向导数

如果函数在点是可微分的，那么，函数在该点是沿任一方向L的方向导数都存在，且有：

10、梯度

设函数在平面区域D内具有一阶连续偏导数，则对于每一点，都可定出一个向量，这个向量称为函数在点的梯度，记作，即：
=

11、凸函数

在区间上是连续的，如果对上任意两点,，有，则称在上是凸的。
在区间上连续，在内二阶可导，那么：
若，则是凸的；
若，则是凹的。