动手学深度学习 - 11.2. 数学知识

动手学深度学习 - 11.2. 数学知识

动手学深度学习 - Dive into Deep Learning
Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola
https://zh.d2l.ai/

11.2. 数学知识

11.2.1. 线性代数

11.2.1.1. 向量

本书中的向量指的是列向量。一个 $n$ 维向量 $\mathbf{x}$ 的表达式可写成

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],$$

其中 $x_1,\dots ,x_n$ 是向量的元素。我们将各元素均为实数的 $n$ 维向量 $\mathbf{x}$ 记作 $\mathbf{x}\in {\mathbb{R}}^n$ 或 $\mathbf{x}\in {\mathbb{R}}^{n\times 1}$。

11.2.1.2. 矩阵

一个 $m$ 行 $n$ 列矩阵的表达式可写成

$$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right],$$

其中 $x_{ij}$ 是矩阵 $\mathbf{X}$ 中第 $i$ 行第 $j$ 列的元素 ($1\le i\le m,1\le j\le n$)。我们将各元素均为实数的 $m$ 行 $n$ 列矩阵 $\mathbf{X}$ 记作 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$。向量是特殊的矩阵。

11.2.1.3. 运算

设 $n$ 维向量 $\mathbf{a}$ 中的元素为 $a_1,\dots ,a_n$，$n$ 维向量 $\mathbf{b}$ 中的元素为 $b_1,\dots ,b_n$。向量 $\mathbf{a}$ 与 $\mathbf{b}$ 的点乘 (内积) 是一个标量：

$$\mathbf{a}\cdot \mathbf{b}=a_1{b}_1+\dots +a_n{b}_n.$$

设两个 $m$ 行 $n$ 列矩阵

$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mn}\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \dots & b_{1n}\\ b_{21}& b_{22}& \dots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \dots & b_{mn}\end{array}\right].$$

矩阵 $\mathbf{A}$ 的转置是一个 $n$ 行 $m$ 列矩阵，它的每一行其实是原矩阵的每一列：

$${\mathbf{A}}^{\top }=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \dots & a_{m1}\\ a_{12}& a_{22}& \dots & a_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{1n}& a_{2n}& \dots & a_{mn}\end{array}\right].$$

两个相同形状的矩阵的加法是将两个矩阵按元素做加法：

$$\mathbf{A}+\mathbf{B}=\left[\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \dots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \dots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& \dots & a_{mn}+b_{mn}\end{array}\right].$$

我们使用符号 $\odot$ 表示两个矩阵按元素做乘法的运算：

$$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \dots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \dots & a_{2n}{b}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \dots & a_{mn}{b}_{mn}\end{array}\right].$$

定义一个标量 $k$。标量与矩阵的乘法也是按元素做乘法的运算：

$$k\mathbf{A}=\left[\begin{array}{cccc}k{a}_{11}& k{a}_{12}& \dots & k{a}_{1n}\\ k{a}_{21}& k{a}_{22}& \dots & k{a}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ k{a}_{m1}& k{a}_{m2}& \dots & k{a}_{mn}\end{array}\right].$$

其他标量与矩阵按元素相加、相除等运算与上式中的相乘运算类似。矩阵按元素开根号、取对数等运算也就是对矩阵每个元素开根号、取对数等，并得到和原矩阵形状相同的矩阵。

矩阵乘法和按元素的乘法不同。设 $\mathbf{A}$ 为 $m$ 行 $p$ 列的矩阵，$\mathbf{B}$ 为 $p$ 行 $n$ 列的矩阵。两个矩阵相乘的结果

$$\mathbf{A}\mathbf{B}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1p}\\ a_{21}& a_{22}& \dots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{i1}& a_{i2}& \dots & a_{ip}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mp}\end{array}\right]\left[\begin{array}{cccccc}{b}_{11}& b_{12}& \dots & b_{1j}& \dots & b_{1n}\\ b_{21}& b_{22}& \dots & b_{2j}& \dots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ b_{p1}& b_{p2}& \dots & b_{pj}& \dots & b_{pn}\end{array}\right]$$

是一个 $m$ 行 $n$ 列的矩阵，其中第 $i$ 行第 $j$ 列 ($1\le i\le m,1\le j\le n$) 的元素为

$$a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\dots +a_{ip}{b}_{pj}=\sum _{k=1}^p{a}_{ik}{b}_{kj}.$$

11.2.1.4. 范数

设 $n$ 维向量 $\mathbf{x}$ 中的元素为 $x_1,\dots ,x_n$。向量 $\mathbf{x}$ 的 $L_p$ 范数为

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{1/p}.$$

例如，$\mathbf{x}$ 的 $L_1$ 范数是该向量元素绝对值之和：

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$

而 $\mathbf{x}$ 的 $L_2$ 范数是该向量元素平方和的平方根：

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}.$$

我们通常用 $\Vert \mathbf{x}\Vert$ 指代 $\Vert \mathbf{x}{\Vert }_2$。

设 $\mathbf{X}$ 是一个 $m$ 行 $n$ 列矩阵。矩阵 $\mathbf{X}$ 的 Frobenius 范数为该矩阵元素平方和的平方根：

$$\Vert \mathbf{X}{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{x}_{ij}^2},$$

其中 $x_{ij}$ 为矩阵 $\mathbf{X}$ 在第 $i$ 行第 $j$ 列的元素。
Frobenius 范数 (Euclid 范数，F-范数或者 E-范数)：(A 全部元素平方和的平方根)。

11.2.1.5. 特征向量和特征值

对于一个 $n$ 行 $n$ 列的矩阵 $\mathbf{A}$，假设有标量 $\lambda$ 和非零的 $n$ 维向量 $\mathbf{v}$ 使

$$\mathbf{A}\mathbf{v}=\lambda \mathbf{v},$$

那么 $\mathbf{v}$ 是矩阵 $\mathbf{A}$ 的一个特征向量，标量 $\lambda$ 是 $\mathbf{v}$ 对应的特征值。

11.2.2. 微分

11.2.2.1. 导数和微分

假设函数 $f:\mathbb{R}\to \mathbb{R}$ 的输入和输出都是标量。函数 $f$ 的导数

$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h},$$

且假定该极限存在。给定 $y=f(x)$，其中 $x$ 和 $y$ 分别是函数 $f$ 的自变量和因变量。以下有关导数和微分的表达式等价：

$$f^{\prime }(x)=y^{\prime }=\frac{\text{d}y}{\text{d}x}=\frac{\text{d}f}{\text{d}x}=\frac{\text{d}}{\text{d}x}f(x)=\text{D}f(x)={\text{D}}_{x}f(x),$$

其中符号 $\text{D}$ 和 $\text{d}/\text{d}x$ 也叫微分运算符。
常见的微分演算有 $\text{D}C=0$ ($C$ 为常数)、$\text{D}{x}^n=n{x}^{n-1}$($n$ 为常数)、$\text{D}{e}^x=e^x$、$\text{D}\ln (x)=1/x$ 等。

如果函数 $f$ 和 $g$ 都可导，设 $C$ 为常数，那么

$$\begin{array}{rl}\frac{\text{d}}{\text{d}x}[Cf(x)]& =C\frac{\text{d}}{\text{d}x}f(x),\\ \frac{\text{d}}{\text{d}x}[f(x)+g(x)]& =\frac{\text{d}}{\text{d}x}f(x)+\frac{\text{d}}{\text{d}x}g(x),\\ \frac{\text{d}}{\text{d}x}[f(x)g(x)]& =f(x)\frac{\text{d}}{\text{d}x}[g(x)]+g(x)\frac{\text{d}}{\text{d}x}[f(x)],\\ \frac{\text{d}}{\text{d}x}\left[\frac{f(x)}{g(x)}\right]& =\frac{g(x)\frac{\text{d}}{\text{d}x}[f(x)]-f(x)\frac{\text{d}}{\text{d}x}[g(x)]}{[g(x){]}^2}.\end{array}$$

如果 $y=f(u)$ 和 $u=g(x)$ 都是可导函数，依据链式法则，

$$\frac{\text{d}y}{\text{d}x}=\frac{\text{d}y}{\text{d}u}\frac{\text{d}u}{\text{d}x}.$$

自然对数 (natural logarithm) 为以数学常数 $e$ 为底数的对数函数，标记作 $\ln x$ 或 ${\log }_{e}x$，其反函数为指数函数 $e^x$。
自然对数的导数：
$$\frac{d}{dx}\ln (x)=\frac{1}{x}.$$

$$\frac{d}{dx}\ln (x)=\frac{d}{dx}{\int }_1^x\frac{1}{t}dt=\frac{1}{x}$$

properties:

ln ⁡ 1 = 0 , ln ⁡ e = 1 , ln ⁡ ( x y ) = ln ⁡ x + ln ⁡ y for     x > 0    and     y > 0 , ln ⁡ ( x y ) = y ln ⁡ x for     x > 0 , ln ⁡ x < ln ⁡ y for     0 < x < y . \begin{aligned} & {\ln 1=0},\\ & {\ln e=1},\\ & {\ln(xy)=\ln x+\ln y\quad {\text{for }}\;x>0\;{\text{and }}\;y>0},\\ & {\ln(x^{y})=y\ln x\quad {\text{for }}\;x>0}, \\ & {\ln x<\ln y\quad {\text{for }}\;0​ln1=0,lne=1,ln(xy)=lnx+lnyfor x>0and y>0,ln(xy)=ylnxfor x>0,lnx<lnyfor 0<x<y.​

11.2.2.2. 泰勒展开

函数 $f$ 的泰勒展开式是

$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n,$$

其中 $f^{(n)}$ 为函数 $f$ 的 $n$ 阶导数 (求 $n$ 次导数)，$n!$ 为 $n$ 的阶乘。假设 $ϵ$ 是一个足够小的数，如果将上式中 $x$ 和 $a$ 分别替换成 $x+ϵ$ 和 $x$，可以得到

$$\begin{array}{rl}f(x+ϵ)& =\sum _{n=0}^{\infty }\frac{f^{(n)}(x)}{n!}(x+ϵ-x{)}^n\\ & =\sum _{n=0}^{\infty }\frac{f^{(n)}(x)}{n!}(ϵ{)}^n,\end{array}$$

$$f(x+ϵ)\approx f(x)+f^{\prime }(x)ϵ+\mathcal{O}({ϵ}^2).$$

由于 $ϵ$ 足够小，上式也可以简化成

$$f(x+ϵ)\approx f(x)+f^{\prime }(x)ϵ.$$

11.2.2.3. 偏导数

设 $u$ 为一个有 $n$ 个自变量的函数，$u=f(x_1,x_2,\dots ,x_n)$，它有关第 $i$ 个变量 $x_i$ 的偏导数为

$$\frac{\partial u}{\partial x_i}=\underset{h\to 0}{\lim }\frac{f(x_1,\dots ,x_{i-1},x_i+h,x_{i+1},\dots ,x_n)-f(x_1,\dots ,x_i,\dots ,x_n)}{h}.$$

以下有关偏导数的表达式等价：

$$\frac{\partial u}{\partial x_i}=\frac{\partial f}{\partial x_i}=f_{x_i}=f_i={\text{D}}_{i}f={\text{D}}_{x_i}f.$$

为了计算 $\partial u/\partial x_i$，只需将 $x_1,\dots ,x_{i-1},x_{i+1},\dots ,x_n$ 视为常数并求 $u$ 有关 $x_i$ 的导数。

11.2.2.4. 梯度

假设函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的输入是一个 $n$ 维向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\top }$，输出是标量。函数 $f(\mathbf{x})$ 有关 $\mathbf{x}$ 的梯度是一个由 $n$ 个偏导数组成的向量：

$${\nabla }_{\mathbf{x}}f(\mathbf{x})=[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}{]}^{\top }.$$

为表示简洁，我们有时用 $\nabla f(\mathbf{x})$ 代替 ${\nabla }_{\mathbf{x}}f(\mathbf{x})$。

假设 $\mathbf{x}$ 是一个向量，常见的梯度演算包括

$$\begin{array}{rl}{\nabla }_{\mathbf{x}}{\mathbf{A}}^{\top }\mathbf{x}& =\mathbf{A},\\ {\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}& =\mathbf{A},\\ {\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}& =(\mathbf{A}+{\mathbf{A}}^{\top })\mathbf{x},\\ {\nabla }_{\mathbf{x}}\Vert \mathbf{x}{\Vert }^2& ={\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{x}=2\mathbf{x}.\end{array}$$

类似地，假设 $\mathbf{X}$ 是一个矩阵，那么

$${\nabla }_{\mathbf{X}}\Vert \mathbf{X}{\Vert }_F^2=2\mathbf{X}.$$

11.2.2.5. 海森矩阵

假设函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的输入是一个 $n$ 维向量 $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\top }$，输出是标量。假定函数 $f$ 所有的二阶偏导数都存在，$f$ 的海森矩阵 $\mathbf{H}$ 是一个 $n$ 行 $n$ 列的矩阵：

$$\mathbf{H}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right],$$

其中二阶偏导数

$$\frac{{\partial }^{2}f}{\partial x_i\partial x_j}=\frac{\partial }{\partial x_j}\left(\frac{\partial f}{\partial x_i}\right).$$

11.2.3. 概率

11.2.3.1. 条件概率

假设事件 $A$ 和事件 $B$ 的概率分别为 $P(A)$ 和 $P(B)$，两个事件同时发生的概率记作 $P(A\cap B)$ 或 $P(A,B)$。给定事件 $B$，事件 $A$ 的条件概率

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

也就是说，

$$P(A\cap B)=P(B)P(A\mid B)=P(A)P(B\mid A).$$

当满足

$$P(A\cap B)=P(A)P(B)$$

时，事件 $A$ 和事件 $B$ 相互独立。

11.2.3.2. 期望

离散的随机变量 $X$ 的期望 (或平均值) 为

$$E(X)=\sum _{x}xP(X=x).$$

11.2.3.3. 均匀分布

假设随机变量 $X$ 服从 $[a,b]$ 上的均匀分布，即 $X\sim U(a,b)$。随机变量 $X$ 取 $a$ 和 $b$ 之间任意一个数的概率相等。