深度学习的数学知识

深度学习所依赖的数学原理

本文只介绍纯数学的内容。

高等数学教材上册中的导数与微分，下册中的向量、偏导数、方向导数、梯度的概念，与深度学习的原理有密切的关系。

导数

设函数 $y=f(x)$ 在点 $x_0$ 的某一领域内有定义，当自变量 $x$ 在 $x_0$ 处取得增量 $\Delta x$ (点 $x_0+\Delta x$ 仍在该领域内)时，相应的函数 $y$ 取得增量 $\Delta y=f(x_0+\Delta x)-f(x_0)$ .
如果极限
$$\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
存在，则称该极限为函数 $y=f(x)$ 在点 $x_0$ 处的导数，记作 $f^{\prime }(x_0)$, 即：

$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

也可以记作
$y^{\prime }{|}_{x=x_0}$ , $\frac{dy}{dx}{|}_{x=x_0}$, 或 $\frac{d}{dx}f(x){|}_{x=x_0}$

函数 $f(x)$ 在点 $x_0$ 处的导数存在，亦称函数 $f(x)$ 在点 $x_0$ 处可导，否则称函数 $f(x)$ 在点 $x_0$ 处不可导。如果增量之比 $\frac{\Delta y}{\Delta x}$ （当 $\Delta x\to 0$ 时的极限为无穷大，导数是不存在的，但为了叙述方便，也称函数在点 $x_0$ 处的导数为无穷大。

导数的几何意义：

1. 函数曲线上指定点的切线的斜率
2. 函数在指定点的变化率

导数的物理意义：

• 该时刻的瞬时变化率
• 比如，x轴为时间，y轴为速度，则在 $x_0$ 点的导数代表在 $x_0$ 点的瞬时加速度。

复合函数的求导法则

定理(链锁法则)
如果函数 $u=\phi (x)$ 在点 $x$ 处可导， $y=f(u)$ 在对应点 $u=\phi (x)$ 处也可导，则复合函数 $y=f[\phi (x)]$ 在点 $x$ 处也可导，且
$$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$$

上式也可以写成
$$y_x^{\prime }=y_u^{\prime }{u}_x^{\prime }$$ 或 $$y^{\prime }(x)=f^{\prime }(u){\phi }^{\prime }(x)$$

偏导数

多元函数中，某一自变量变化而其他自变量不变化（即视为常数）时，函数关于该自变量的变化率，就是多元函数对该自变量的偏导数。
定义：
设函数 $z=f(x,y)$ 在点 $（x_0,y_0）$的某一领域内有定义，当自变量 $y$保持定值$y_0$,而自变量$x$在$x_0$处有增量${\Delta }_x$(点 $x_0+{\Delta }_x$ 仍在该领域内)时，函数相应的增量称为函数 $z=f(x,y)$ 在点$（x_0,y_0）$ 处关于自变量 $x$ 的偏增量，记作 ${\Delta }_{x}z$, 即：
$${\Delta }_{x}z=f(x_0+{\Delta }_x,y_0)-f(x_0,y_0)$$

如果当 ${\Delta }_x\to 0$ 时，比式 $\frac{{\Delta }_{x}z}{\Delta x}$ 的极限存在，则称此极限值为函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 处对$x$的偏导数，记作 KaTeX parse error: Undefined control sequence: \substack at position 40: …tial x}\big|{_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{x=x_0\\y=y_0}}…, 即：
KaTeX parse error: Undefined control sequence: \substack at position 40: …tial x}\big|{_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{x=x_0\\y=y_0}}…

此偏导数也可记作：
KaTeX parse error: Undefined control sequence: \substack at position 40: …tial x}\big|{_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{x=x_0\\y=y_0}}…, 或 KaTeX parse error: Undefined control sequence: \substack at position 23: …ime}_x}\big|{_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{x=x_0\\y=y_0}}…, 或 $f^{\prime }(x_0,y_0)$

类似的，函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 处对 $x$ 的偏导数定义为：
KaTeX parse error: Undefined control sequence: \substack at position 40: …tial x}\big|{_{\̲s̲u̲b̲s̲t̲a̲c̲k̲{x=x_0\\y=y_0}}…

偏导数的几何意义：
设有二元函数 $z=f(x,y)$ 在点 $(x_0,y_0)$ 的偏导数有如下的几何意义：
设 $M_0(x_0,y_0,f(x_0,y_0))$ 为曲面 $z=f(x,y)$ 上的一点，过 $M_0$ 作平面 $y=y_0$，截此曲面得一曲线，此曲线在平面 $y=y_0$ 上得方程为 $z=f(x,y_0)$, 则导数 $\frac{d}{dx}f(x,y_0){|}_{x=x_0}$，即偏导数 $f_x(x_0,y_0)$，就是这曲线在点 $M_0$ 处的切线 $M_0{T}_x$ 对 $x$ 轴的斜率。
同样，偏导数 $f_y(x_0,y_0)$ 的几何意义是：曲面被平面 $x=x_0$ 所截得的曲线在点 $M_0$ 处的切线 $M_0{T}_y$ 对 $y$ 轴的斜率。

多元函数的求导法则

中间变量是一元函数

定理1:
如果函数 $u=\phi (t),v=\varphi (t)$ 均在点$t$处可导，函数$z=f(u,v)$在对应点 $(u,v)$ 处具有连续的偏导数 $\frac{\partial z}{\partial u}$ 和 $\frac{\partial z}{\partial v}$， 则复合函数 $z=f[\phi (t),\varphi (t)]$ 在点 $t$ 处可导，且它的导数为：
$$\frac{dz}{dt}=\frac{\partial z}{\partial u}\cdot \frac{du}{dt}+\frac{\partial z}{\partial v}\cdot \frac{dv}{dt}$$

中间变量是多元函数

定理2:
设函数 $u=\phi (x,y)$ 及 $v=\varphi (x,y)$ 在点 $(x,y)$ 处都具有偏导数 $\frac{\partial u}{\partial x}$,$\frac{\partial u}{\partial y}$及$\frac{\partial u}{\partial x}$,$\frac{\partial u}{\partial y}$，函数 $z=f(u,v)$ 在对应点 $(u,v)$ 处具有连续的偏导数 $\frac{\partial z}{\partial u}$和$\frac{\partial z}{\partial v}$, 则复合函数 $z=f[\phi (x,y),\varphi (x,y)]$在点$(x,y)$处的2个偏导数存在，并有求导公式：
$$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\cdot \frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\cdot \frac{\partial v}{\partial x}$$
$$\frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\cdot \frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\cdot \frac{\partial v}{\partial y}$$

向量

不仅有大小，而且有方向的量，就是向量。

向量的夹角：
设a和b是2个非零向量，过空间内任意一点O作向量 $OA=a,OB=b$,
则称 $\angle AOB=\phi (0<=\phi <=\pi )$ 为向量a与b的夹角，记作 $（\widehat{a,b}）$ 或 $（\widehat{b,a}）$

向量的数量积：
设a、b是2个向量，他们的模 |a|, |b|, 及夹角余弦 $cos(\widehat{a,b})$ 的乘积，称为向量a和b的数量积，记作 $a\cdot b$ , 即：
$$a\cdot b=|a||b|cos(\widehat{a,b})$$

方向导数

方向导数的几何意义
偏导数的局限是： 它只能求出2个方向上的变化率，但对于曲面上的一个点来说，其实有无穷多的方向。
那么，如何求出曲面上某个点在指定方向上的变化率呢？
这就要引入角度 $\theta$, 即沿着在 XY 平面上与 $x$ 轴成 $\theta$ 角度的一条线作一个平面，该平面截曲面可得一条曲线。该曲线上的指定点的切线的斜率，即为该点在指定方向（即$\theta$角度）上的变化率，这就是方向导数。

定义：
设函数 $z=f(x,y)$ 在点 $P(x,y)$ 的某一个领域内有定义，以点P为端点作一条射线 $l$, 记 $x$ 轴的正向到射线 $l$的转角为 $\theta$. 如果当点Q沿着射线$l$趋近于点P时，此时如果 $\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }$ $(\rho =\sqrt{\Delta x^2+\Delta y^2})$ 的极限存在，则称此极限为函数 $z=f(x,y)$ 在点 $P(x,y)$ 处沿方向 $l$ 的方向导数，记作 $\frac{\partial f}{\partial l}$, 即：
$$\frac{\partial f}{\partial l}=\underset{\rho \to 0}{\lim }\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }$$

定理：
如果函数 $z=f(x,y)$ 在点$P(x,y)$处是可微分的，则它在该点沿任一方向$l$的方向导数都存在，且
$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\theta +\frac{\partial f}{\partial y}sin\theta$$
其中，$\theta$是$x$轴的正向到方向 $l$ 的转角。

梯度

一个函数 $z=f(x,y)$ 在点 $P(x,y)$ 沿着不同的方向 $l$ 的方向导数是不同的。那么，在这些方向导数中，有没有一个最大的方向导数呢？如果有的话，是沿着哪个方向的方向导数最大呢？

引入向量 $g=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}$, $e=\{cos\theta ,sin\theta \}$,
于是上面的公式可以写成：
$$g\cdot e=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}\cdot \{cos\theta ,sin\theta \}=\frac{\partial f}{\partial l}$$

$\theta$ 是 $l$ 与 x 轴正向的夹角； $l$ 是向量 g 的方向。

定义1：
向量$g$称为函数$z=f(x,y)$在点$P(x,y)$的梯度。

根据向量数量积的定义可知：
$$\begin{gathered} g\cdot e=|g||e|cos(\widehat{g,e})=\sqrt{({\frac{\partial f}{\partial x})}^2+({\frac{\partial f}{\partial y})}^2}\cdot \sqrt{co{s}^2\theta +si{n}^2\theta }\cdot cos(\widehat{g,e}) \\ =\sqrt{({\frac{\partial f}{\partial x})}^2+({\frac{\partial f}{\partial y})}^2}\cdot cos(\widehat{g,e}) \end{gathered}$$

于是有：
$$\frac{\partial f}{\partial l}=\sqrt{({\frac{\partial f}{\partial x})}^2+({\frac{\partial f}{\partial y})}^2}\cdot cos(\widehat{g,e})$$

现在，回答开头的那2个问题：

1. 当$cos(\widehat{g,e})=1$时，方向导数$\frac{\partial f}{\partial l}$最大，即方向$l$与向量$g=\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\}$ 的方向一致时，方向导数最大；
2. 此时，方向导数的值为向量$g$的模。

定义2：
设函数 $z=f(x,y)$ 在点 $P(x,y)$ 处具有连续的偏导数 $\frac{\partial f}{\partial x}$ 和 $\frac{\partial f}{\partial y}$, 则称向量
$$\frac{\partial f}{\partial x}i+\frac{\partial f}{\partial y}j$$
为函数 $z=f(x,y)$ 在点 $P(x,y)$ 处的梯度，记作 $gradf(x,y)$,即：
$$gradf(x,y)=\frac{\partial f}{\partial x}i+\frac{\partial f}{\partial y}j$$

由前面的讨论可知，函数$z=f(x,y)$在点$P(x,y)$处的梯度$gradf(x,y)$是这样的一个向量：

1. 它的方向与在点$P(x,y)$处取得最大的方向导数的方向相同；
2. 它的模 $|gradf(x,y)|$ 等于在点 $P(x,y)$ 处的方向导数的最大值；

有了梯度的概念之后，函数在点 $P(x,y)$ 处沿着方向 $l$ 的方向导数就可以表示成：
$$\frac{\partial f}{\partial l}=gradf(x,y)\cdot e$$
其中，$e=\{cos\theta ,sin\theta \}$ 是 $l$ 方向上的单位向量。

[2022-10-31 update]
（完）