人工智能之数学基础篇—高等数学基础中

  在这篇文章，我将简单的总结一下连续性与导数、偏导数、方向导数等高等数学基本概念，这些概念是理解人工智能算法的基础数学知识。

4 连续性与导数

  函数建立了变量之间的依存关系，有时候也需要考虑函数的连续性。例如气温的变化，当时间变动微小时，气温的变化也很微小，这种特点就是所谓的连续性。

4.1 函数连续性定义

定义13 设函数 $f(x)$ 在 $x_0$ 的某个邻域内有定义，当自变量的增量 $\Delta x$ 趋于 0 时，对应的函数的增量 $\Delta y=f(x_0+\Delta x)-f(x_0)$ 也趋于 0，即
$$\underset{\Delta x\to 0}{\lim }\Delta y=\underset{\Delta x\to 0}{\lim }[f(x_0+\Delta x)-f(x_0)]=0$$
则称函数 $f(x)$ 在点 $x_0$ 处连续。

  观察图6所示：图（a），当 $\Delta x\to 0$时， $\Delta y\to 0$，因此函数 $f(x)$ 在点 $x_0$ 处连续。再来看图（b），当 $\Delta x\to 0^{+}$时，$\Delta y$ 的改变非常大，因此函数 $g(x)$ 在点 $x_0$ 处不连续。

图6 函数的连续性

4.2 函数连续性需要满足的条件

  函数 $f(x)$ 在点 $x_0$ 处连续，需要满足以下条件：

  （1）函数在该点处有定义。
  （2）函数在该点处极限 ${\lim }_{x\to x_0}f(x)$ 存在。
  （3）极限值等于函数值 $f(x_0)$ 。

三个条件缺一不可。

  【例9】已知函数 $f(x)=\{\begin{array}{cc}x+1,& x⩽0\\ \frac{sinx}{x},& x>0\end{array}$，判断函数 $f(x)$ 在点 $x=0$ 处的连续性。

  解：
$$f(0)=1,\underset{x\to 0^{-}}{\lim }(x+1)=1,\underset{x\to 0^{+}}{\lim }\frac{sinx}{x}=1$$
  极限存在并且等于 $f(0)$，满足3个条件，因此函数$f(x)$ 在点 $x=0$ 处连续。

4.3 函数的间断点

  设函数 $f(x)$ 在 $x_0$ 的某个去心邻域内有定义，如果函数 $f(x)$ 有下列 3 种情况之一，那么函数 $f(x)$ 在点 $x_0$ 处不连续，点 $x_0$ 称为函数 $f(x)$ 的间断点或不连续点。

  （1）函数 $f(x)$ 在点 $x=x_0$ 处没有定义。
  （2）函数 $f(x)$ 虽然在点 $x=x_0$ 处有定义，但是在该点处极限 ${\lim }_{x\to x_0}f(x)$ 不存在。
  （3）函数 $f(x)$ 虽然在点 $x=x_0$ 处有定义，且在该点处极限 ${\lim }_{x\to x_0}f(x)$ 存在，但${\lim }_{x\to x_0}f(x)\ne f(x_0)$ 。

4.4 函数间断点的常见类型

  通常把间断点分为两类：如果 $a$ 是函数 $f(x)$ 的间断点，且函数在该点左右极限都存在 ，则称 $a$ 为第一类间断点；不是第一类间断点的任何间断点，都称为第二类间断点。

  第一类间断点又可以分为以下两类 。

  （1）跳跃间断点： ${\lim }_{x\to x_0^{+}}f(x)$、${\lim }_{x\to x_0^{-}}f(x)$ 极限都存在，但${\lim }_{x\to x_0^{+}}f(x)\ne {\lim }_{x\to x_0^{-}}f(x)$。

  （2）可去间断点：${\lim }_{x\to x_0^{+}}f(x)$、${\lim }_{x\to x_0^{-}}f(x)$ 极限都存在且相等，但是 ${\lim }_{x\to x_0}f(x)\ne f(x_0)$ 或 $f(x)$ 在该点无定义。

  【例10】分析函数 $f(x)=\frac{x^2-1}{x^2-3x+1}$ 的连续性

  解：函数在点 $x=2$ 、 $x=1$ 处没有定义，因此点 $x=2$ 、 $x=1$ 为间断点 。

  ${\lim }_{x\to 1^{-}}f(x)={\lim }_{x\to 1^{+}}f(x)\ne f(1)$，因此在点 $x=1$ 处是可去间断点 。

  因此，在点 $x=2$ 处是第二类间断点 。

4.5 导数

  导数是一个非常重要的概念，对于很多实际应用问题的求解都会用到导数。 先来看一个引例：速度问题。历史上速度问题与导数概念的形成有着密切的关系。

  我们都知道平均速度 $v=\frac{s}{t}$，那么如何表示瞬时速度呢?

  瞬时经过路程：$\Delta s=s(t_0+\Delta t)-s(t_0)$

  这一小段 $\Delta t$ 的平均速度：

  当 $\Delta t\to 0$ 时，对应的 $\bar{v}$ 就是瞬时速度。在时刻 $t_0$ 的瞬时速度为：

  从公式可以看出，瞬时速度就是变化率的问题。

4.5.1 导数的定义

定义14 设函数 $f(x)$ 在 $x_0$ 的某个邻域内有定义，当自变量的增量为 $\Delta x$ 时，对应的函数的增量 $\Delta y=f(x_0+\Delta x)-f(x_0)$ 。当 $\Delta x\to 0$ 时，$\frac{\Delta y}{\Delta x}$ 的极限存在，则称函数 $f(x)$ 在 $x_0$ 处可导。 此极限值为函数 $f(x)$ 在点 $x_0$ 处的导数，记作 $f^{{}^{\prime }}(x)$，即

4.5.2 导数的几何意义

  通常函数 $y=f(x)$ 的导数表示了因变量 $y$ 在点 $x_0$ 处随自变量 $x$ 变化的快慢程度，即函数的变化速率。 从几何意义上讲，函数在某一点 $x_0$ 的变化率等于这一点的切线的斜率，图7中 $P_0$ 的导数为在点 $P_0$ 处所作切线的斜率，$f^{{}^{\prime }}(x_0)=tan\alpha$，其中 $\alpha$ 是切线的倾角（与 $x$ 轴正方向的夹角）。

图7 导数的几何意义

4.5.3 导数的基本求导法则

  如果函数 $u=u(x)$ 、 $\nu =\nu (x)$ 都在点 $x$ 有导数，那么它们的和 、差、 积 、 商（除分母为 0 的点外）都在点 $x$ 具有导数，且满足以下法则 。

4.5.4 反函数的求导法则

  设函数 $x=f(y)$ 在区间 $D_y$ 内单调可导，且 $f^{{}^{\prime }}(y)\ne 0$，那么它的反函数 $y=f^{-1}(x)$ 在区间 $D_x=\left\{x=f(y),yϵD_y\right\}$ 内也可导，且满足下式：

4.5.5 复合函数的求导法则

  如果 $u=g(x)$ 在点 $x$ 处可导， $y=f(u)$ 在点 $u=g(x)$ 处可导，那么复合函数 $y=f\left[g(x)\right]$ 在点 $x$ 处可导，且其导数为：

$$\frac{dy}{dx}=f^{{}^{\prime }}(u)\cdot g^{{}^{\prime }}(x)/\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$$

4.5.6 常用的求导公式

  【例11】求函数 $y=arcsin\sqrt{sinx}$ 的导数，并用 Python 编程求导。

  解：

【代码如下】

from sympy import *
from sympy.abc import x,y,z,f
result= diff(asin(sqrt(sin(x))))
print(result)

cos(x)/(2*sqrt(1 - sin(x))*sqrt(sin(x)))

5 偏导数

  如果涉及的函数都只有一个自变量，那么这种函数被称为一元函数，但在很多研究领域中，经常需要研究多个变量之间的关系，在数学上，这就表现为一个变量与另外多个变量的相互依赖关系。由此就引出来了偏导数的概念。

  先来研究二元函数。二元函数是函数值 $z$ 随着两个自变量的变化而变化，记为 $z=f(x,y)$ ，其图形是一个 $x,y$ 轴展开的曲面，如图 8 所示。

图8 二元函数的图像

  一元函数的导数反映了函数相对于自变量的变化率。 但多元函数的自变量有两个或两个以上，函数对于自变量的变化率问题更为复杂，但有规律可循。一般来说，对于多元函数 ，在研究某一个自变量的变化率时，往往把其余的自变量暂时固定下来，即视为常数，使其成为一元函数，然后再对其进行求导，这就是偏导数的概念 。

5.1 偏导数的定义

定义15 设函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 的某个邻域内有定义，当 $y$ 固定在 $y_0$，而 $x$ 在 $x_0$ 处有增量 $\Delta x$，函数有增量 $f\left(x_0+\Delta x,y_0\right)-f\left(x_0,y_0\right)$，如果极限
$$\underset{\Delta x\to 0}{\lim }\frac{f\left(x_0+\Delta x,y_0\right)-f\left(x_0,y_0\right)}{\Delta x}$$
存在，则称此极限为函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 处对 $x$ 的偏导数，记为 $f_x\left(x_0,y_0\right)$，即
$$f_x\left(x_0,y_0\right)=\underset{\Delta x\to 0}{\lim }\frac{f\left(x_0+\Delta x,y_0\right)-f\left(x_0,y_0\right)}{\Delta x}$$
同理可得：
$$f_y\left(x_0,y_0\right)=\underset{\Delta y\to 0}{\lim }\frac{f\left(x_0,y_0+\Delta y\right)-f\left(x_0,y_0\right)}{\Delta y}$$

5.2 偏导数的几何意义

  偏导数的几何意义可直接由一元函数导数的几何意义得出，由于 $f_x\left(x_0,y_0\right)$ 就是 $z=f(x,y_0)$ 在 $x=x_0$ 处的导数，而 $z=f(x,y_0)$ 在几何上可以看作是平面 $y=y_0$ 截曲面 $z=f(x,y)$ 得到的曲线 $C_x$。因此 $f_x\left(x_0,y_0\right)$ 的几何意义为：曲线 $C_x$ 在点 $M_0\left(x_0,y_0,z_0\right)$ 处切线 $M_0{T}_x$ 对 $x$ 轴的斜率，如图9所示。

图9 偏导数的几何意义

  同理，若 $C_y$ 是平面 $x=x_0$ 截曲面 $z=f(x,y)$ 得到的曲线，则偏导数 $f_y\left(x_0,y_0\right)$ 的几何意义为：曲线 $C_y$ 在点 $M_0\left(x_0,y_0,z_0\right)$ 处切线 $M_0{T}_y$ 对 $y$ 轴的斜率，如图9所示。

  【例12】求 $f\left(x,y\right)=x^2+3xy+y^2$ 在点 $(1,2)$ 处的偏导数，并用 Python 编程求导。
  解：

【代码如下】

>>> from sympy import *
>>> from sympy.abc import x,y,z,f
>>> f = x**2 + 3*x*y + y**2
>>> diff(f,x)   #对x求偏导
2*x + 3*y
>>> diff(f,y)	#对y求偏导
3*x + 2*y
>>> fx = diff(f,x)				#对x求偏导并将结果赋给fx
>>> fx.evalf(subs={
     x:1,y:2})	#以字典的形式传入多个变量的值，求函数值
8.00000000000000
>>> fy = diff(f,y)
>>> fy.evalf(subs={
     x:1,y:2})
7.00000000000000