人工智能数学基础之高等数学(持续更新)

引言

不懂数学是学不好人工智能的，本系列文章就汇总了人工智能所需的数学知识。本文是高等数学篇。

另有线代篇和概率论篇。

• 人工智能数学基础之概率论
• 人工智能数学基础之线性代数(持续更新)

函数与极限

函数

,x是函数f的自变量，y是因变量

函数极限

当无限接近于时，无限接近于常数A。

趋于有三种写法：

第一种是无限趋近于，解释是它们相差的绝对值是无穷小的；
第二种是从大于的方向趋近(从右侧)；
第二种是从小于的方向趋近(从左侧)；

也有三种写法：

第一种表示是无穷大的，同样也可能是正数或负数；
第二种表示趋向于正无穷大；
第三种表示趋向于负无穷大；

函数极限的定义：

如果(对于任意的大于0),(存在大于0),当时，总有，则称

在这里插入图片描述

我们可以通过图形来理解极限，如上图，该函数的极限为0( 和 ,都趋向于0，因此说 时极限为0 )

该图形对应的代码为:

import numpy as np
import matplotlib.pyplot as plt

fig = plt.figure()
x = np.linspace(-100, 100, 100)
y = 1/x

ax = fig.add_subplot(111)
ax.plot(x, y)
ax.spines['left'].set_position('zero')
ax.spines['right'].set_color('none')
ax.spines['bottom'].set_position('zero')
ax.spines['top'].set_color('none')

# remove the ticks from the top and right edges
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')

plt.axhline(0,color = 'red',linestyle = '--',alpha = 0.5)

plt.show()

无穷小与无穷大

无穷小

极限为零的变量称为无穷小。

若有,当(或) ==极限为零==，则称为(或) 时的无穷小。

例如 ，函数是当时的无穷小。

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt

fig = plt.figure()
x = np.linspace(-np.pi, np.pi, 100)
y = np.sin(x)

ax = fig.add_subplot(111)
ax.plot(x, y)
ax.spines['left'].set_position('zero')
ax.spines['right'].set_color('none')
ax.spines['bottom'].set_position('zero')
ax.spines['top'].set_color('none')

# remove the ticks from the top and right edges
ax.xaxis.set_ticks_position('bottom')
ax.yaxis.set_ticks_position('left')

#plt.axhline(0,color = 'red',linestyle = '--',alpha = 0.5)

plt.show()

无穷大

若有,当(或) ==无限增大==，则称为(或) 时的无穷大。

记作 或

无穷大和无穷小都是有条件的，即趋于某一点或无穷大时。

在这里插入图片描述

同样是这个函数，当时(从两个方向)，都是无限增大的。

极限的四则运算

设,，则

3. ，其中不等于

• 两个无穷小的和是无穷小
• 有界函数和无穷小的乘积是无穷小

常见函数的极限

1.求

由于分母的极限为0，不能用法则3，但是可以约分，因此先约分再求极限。
2.
3.
4. 或

函数连续

设函数,在的邻域内有定义，若，则称在点处连续。

在这里插入图片描述

上图左边的函数是连续的，而右边的函数不是连续的。

举例

解：
函数在处有定义，
= 2
≠
= -2
因此极限不存在，该函数在0处不连续。

连续函数的和差积商也是连续的；连续函数的符合函数是连续的；基本初等函数在其定义域内都连续。

导数

在这里插入图片描述

设 , ,则 ,
若 存在，则称 在点 处可导。

在处的导数值，简称为导数，记作

导数的理解：

1. 指的是该点的变化率，可能是变大（导数为正），也可能变小（导数为负）
2. 从几何意义上，是该点切线的斜率

怎么理解导数是变化率：

1. 就是如果自变量x继续增加，因变量y的变化。
2. 如果导数大于0，则y变大；如果导数小于0，则y变小。
3. 自变量x沿着导数地方向变化，就是沿着因变量y增加的方向变化

可导和连续

先来看一下连续和可导的几何意义

在这里插入图片描述

连续就是不间断,点左极限等于右极限等于的值；如果自变量增量趋于0时,因变量增量不趋于0,那么也就是说 不等于0,那么也就是说在点左极限或者右极限不等于那么这种情况只能是间断的,所以自变量趋于0时,因变量一定也要趋于0时,才连续。

连续几何上看就是函数的图形不间断；可导的几何意义是曲线在该点处有斜率且斜率存在。

那么可导和连续的关系，我们可以通过一个图形来理解：

在这里插入图片描述

由于在 和 处是断开的，不连续，无法做出切线，就没有切线的斜率一说了，因此不可导。
在 chu处是连续的，但是图形在 处不光滑，没有办法做出唯一的切线，因此该点是不可导的。
处斜率不存在，不可导。

光滑函数：曲线不尖锐,必光滑。连续光滑的曲线，必然处处有切线，这点是必然的，没有切线(或没有唯一的切线)的地方，就不光滑。

由上可知，不连续一定不可导；可导则必然连续；连续不一定可导。

最后以一个图片作为总结：

在这里插入图片描述

导数的四则运算

设函数和在点处可导，则其和、差、积、商在处也可导，有以下法则和推论：

2. (第一项求导乘第二项 加 第一项不动乘第二项的导数)
3. ( ≠ 0)

推论：

1. (个相加)
2. (第一个函数求导二三函数不动 加第二个函数求导一三不动 加 一二不动第三个函数求导)

我们来利用这些法则求导

复合函数求导法

设函数均可导，则复合函数的导数

由 可导，则连续，则有 ，可推出

那么 和是等效的，上式有：

由上可得复合函数求导法则：

设函数均可导，则复合函数也可导，且 或写成

高阶导数

定义：如果函数的导数在点处可导，则称为函数在处的二阶导数，记为：。

同理，二阶导数的导数称为函数的三阶导数，记为：。

阶导数的导数称为函数的阶导数，记作：。

二阶及二阶以上的导数称为高阶导数。

记法说明：

偏导数

要学习偏导数，先要了解二元函数的概念

二元函数

所谓二元函数，即因变量有两个的函数。例如圆柱体体积计算公式为
相应的，n元函数就是有n个因变量的函数。

偏导数的概念

设函数在点的某一邻域内有定义，当==固定==在而在处有增量时，相应地函数有偏增量
,
如果存在，则称此极限为函数在点处对的==偏导数==，
记为

在这里插入图片描述

即

对的偏导数同理。

要注意的是， 函数在一点处偏导存在，则函数在这点不一定连续

偏导数的几何意义

在这里插入图片描述

练习一下，我们来求 在点(1,2)处的偏导数.

解 ,

注意，求偏导的时候，把其他因变量看成常量

微分

对于函数,
因变量增量为

导数(变化率)有 充分小时,
也就是说,充分小时,

我们称为函数的微分，记为

微分的意义是因变量增量的近似值(函数变化的程度)

在这里插入图片描述

==当充分小时，==

微分 ，
因此，微分也可以表示为
将两边同除得：

导数从微分的角度看可以表示成因变量的微分比上自变量的微分，所以导数还有个别名叫微商。

由此也可以看出可微和可导是等价的，因此求微分时可以先求导数，再改写为微分。

中值定理

罗尔定理

如果函数满足条件

1. 在[a,b]上连续；
2. 在(a,b)内可导；
3. ；

则那么至少存在一点，使得

在这里插入图片描述

(找不到高清图，只有这种了，就是)

==几何意义==：如果连续曲线除端点外处处具有不垂直于x轴的切线，且两个端点处的纵坐标相等，那么其上至少有一点处的切线平行于x轴。

其应用是判断方程根的存在性。

拉格朗日中值定理

该定理反反映了可导函数在闭区间上整体的平均变化率与区间内某点的局部变化率的关系。

在这里插入图片描述

从这个函数图形来看，是不是很像罗尔定理的图形旋转了一下。并且可以看出， 点处的切线虽然不再平行于x轴，但是平行于AB两点的连线。即它们的斜率是相等的，有：

得到拉格朗日中值定理：
如果函数满足条件

1. 在[a,b]上连续；
2. 在(a,b)内可导；

则那么至少存在一点，使得
或

==几何意义==：如果连续曲线除端点外处处具有不垂直于ox轴的切线，那么其上至少有这样一点存在，在该点处曲线的切线平行于连接两端点的直线，即两者斜率相同。

我们来应用一下吧，用拉格朗日中值定理证明，当时，

在这里插入图片描述

证明 构造辅助函数
在[0,x]上满足朗格朗日中值定理的条件，那么根据定理，存在点，满足
①
由于 ,

因此，①式可化为
又因为
(分母越大，分数值越小)
即

柯西中值定理

是拉格朗日中值定理的推广

在拉格朗日中值定理中，若函数由参数方程:

表示，如图所示

在这里插入图片描述

则连接两个端点A，B的直线斜率为

而曲线在点处的切线T斜率为

则由曲线在点P的切线T与直线L平行可知：

得到柯西中值定理：
如果函数和满足

1. 在[a,b]上连续；
2. 在(a,b)内可导，且 ≠ ;

则至少存在一点，使得

几何意义：曲线弧AB上至少有一点，在该点处的切线平行于弦AB.

洛必达法则

设函数，满足：

1. ; (极限无穷小或无穷大)
2. 在内，和都存在，且 ≠ ;
3. ,(求导之后的极限存在)

则

我们称、为未定式，而洛必达法则可用于求这种未定式的极限。

泰勒展开式

推荐看这篇文章怎样更好地理解并记忆泰勒展开式？

如果两个连续的曲线想要相同，那么它们在某一点的一阶导数要相同，二阶导数也要相同，...，n阶导数也要相同，这是泰勒展开的核心思想。(曲线的变化率的变化率的变化率...都相同)

假设给定函数,我们想用一个多项式函数去拟合它。
因为能无限求导 ，所以我们的拟合函数也要能无限求导，
所以必须要是一个无限多项的多项式：

①

假设，我们取点，
得到


...

我们再来看，它的n阶导数是和它的最高项n有关，前面的小于n项的n阶导数都会变为0。

而的n阶导数为:

也就是得到

我们将带入 ①式：

以上是选取点时的泰勒展开，一般的，我们选取点的泰勒展开即为：

如何理解变成了了呢？从点改到点，相当于函数图像向右平移个单位，即变成了 (左右平移是X加或减)

得到泰勒展开式为：

在这里插入图片描述

如果想要等式左右两边相等，光到 项是不够的，后面还有 无穷多项，
后的无穷多项通过 来表示。

不定积分

原函数：在区间上函数可导，或，那么就是在这个区间上的一个原函数。

连续函数一定有原函数

在区间上函数的全体原函数称为的不定积分，记为

不定积分是全体原函数(常数的导数为0)

积分号,被积函数，被积表达式，积分变量

微分运算与不定积分运算互为逆运算。

不定积分的性质：

2. (为常数，且不为零)

定积分

定义：

几何意义：曲边图形的面积

在这里插入图片描述

当时，积分在集合上表示由、、及轴所围成的曲边梯形的面积；
当时，由、、及轴所围成的曲边梯形位于轴下方，积分在几何上表示上述曲边梯形面积的负值；

如果是上的连续函数，并且有，那么

也就是说，一个定积分式的值，就是原函数在上限的值与原函数在下限的值的差。

函数单调性与极值

函数单调性

设函数在内可导，对

1. 若在内单调递增；
2. 若在内单调递减；

我们来证明第一条：
已知
取,设,
由拉格朗日中值定理可知，存在，使得
由已知
可得
由的任意性，所以在内单调递增

函数极值

设函数在的某一邻域内有定义，对于，且 ≠ ，均有

1. ,称为极大值，为极大值点
2. ,称为极小值，为极小值点

极大值和极小值统称为极值；极大值点和极小值点统称为极值点。

在这里插入图片描述

要注意是：

1. 极值是局部性概念
2. 可以有多个极大值或极小值
3. 端点不是极值点(极值只在区间内部取得)

极值点处若，这样的点称为驻点，若导数不存在，则称为尖点

我们可以注意到，极值点两侧单调性不同，也就是导数符号不同，
根据这点，我们可以得到极值判定第一充分条件：

极值判定(极值判定第一充分条件)：
若函数可导， ，且 ， 有 (或 ）同时， 有 (或 ），则 是函数 的极大点（或极小点）。

在这里插入图片描述

我们看上图，大概 取-3点处的函数值是极大值，该点出的切线斜率(导数)为0，左则切线斜率大于0，右侧切线斜率小于0。
也就是说，一阶导数在单调递减，因此二阶导数小于0。得出极值判定第二充分条件：

极值判定(极值判定第二充分条件)：
设函数在内==二阶可导==，且

1. 若是极大值；
2. 若是极小值；
3. 若，无法判定

曲线的凹凸与拐点

凹凸

设函数在内可导：

1. 若曲线上任一点切线位于曲线的下方，则称曲线在内是凹的，区间称为凹区间；
2. 若曲线上任一点切线位于曲线的上方，则称曲线在内是凸的，区间称为凸区间；

在这里插入图片描述

但是这是在给定了函数图像的情况下，若没有函数图像，我们该如何通过函数表达式来判断呢？

我们在曲线上去取三个点，过这三个点做切线，这些曲线与轴的夹角依次为

在这里插入图片描述

可以看到，导函数是单调递增的，也就是

同理，凸函数的二阶导数

函数的凹凸性判断
如果函数在具有二阶导数：

1. 若在内，则在内是凹的；
2. 若在内，则在内是凸的；

拐点

定义：连续曲线上凹弧与凸弧的分界点称为曲线的拐点。

在这里插入图片描述

历经一个月，这篇文章终于更新完了，高数知识暂时告一段落了，后面的学习过程中如果碰到了相关知识会在本文中补充
在人工智能中，向量、矩阵也很重要。这些知识点尽在线性代数中