机器学习中的数学系列-1微积分基础

数学对于机器学习的重要性毋庸置疑，因此有了这个“机器学习中的数学“系列总结。但是对于不致力于搞理论研究的我，了解即可，看到大牛们的一坨坨公式，晕的不要太快即可。

1.夹逼定理

英文叫做Squeeze theorem，抄一下维基百科的定义。
Let I be an interval having the point a as a limit point. Let f, g, and h be functions defined on I, except possibly at a itself. Suppose that for every x in I not equal to a, we have:

and also suppose that:

then:

• The functions g and f are said to be lower and upper bounds of f.
• Here, a is not required to lie in the interior of I. Indeed, if a is an endpoint of I , then the above limits are left- or right-hand limits.
• A similar statement holds for infinite intervals: for example, if I = (0,infinite),then the conclusion holds, taking the limits as x -> infinite.

2.导数

一阶导数曲为线的斜率，衡量曲线变化的快慢和方向。
二阶导数反应曲线的凹凸性。
常用的导数公式：

Paste_Image.png

3.泰勒展开式

函数f(x)可以泰勒展开式为：
 = f(x_0) + f^{\prime(x_0)f(x-x_0)+\frac{f}{\prim\prim}(x_0)}{2!}f(x-x_0)^{2+...+\frac{f}{(n)}(x_0)}{n!}f(x-x_0)^n+R_n(x))
这样就把一个复杂的函数f(x)展开为更容易处理的多项式的形式。里面的R(x)是一个高阶无穷小。
麦克劳林展开式：

Paste_Image.png

有一个比较有意思的应用。熵的计算公式是

。如果把函数f(x)=-ln(x)在x=1展开的话并且忽略高阶无穷小就得到1-x。带入上个式子就得到：

，也就是经常用的基尼系数。