数学基础

本节总结了本书中涉及到的有关线性代数、微分和概率的基础知识。为避免赘述本书未涉及的数学背景知识，本节中的少数定义稍有简化。

线性代数

以下分别概括了向量、矩阵、运算、范数、特征向量和特征值的概念。

向量

本书中的向量指的是列向量。一个维向量的表达式可写成

其中是向量的元素。我们将各元素均为实数的维向量记作或。

矩阵

一个行列矩阵的表达式可写成

$\boldsymbol{X} = \begin{bmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \dots & x_{mn} \end{bmatrix},$

其中是矩阵中第行第列的元素（）。我们将各元素均为实数的行列矩阵记作。不难发现，向量是特殊的矩阵。

运算

设维向量中的元素为，维向量中的元素为。向量与的点乘（内积）是一个标量：

设两个行列矩阵

$\boldsymbol{A} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{bmatrix},\quad \boldsymbol{B} = \begin{bmatrix} b_{11} & b_{12} & \dots & b_{1n} \\ b_{21} & b_{22} & \dots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{m1} & b_{m2} & \dots & b_{mn} \end{bmatrix}.$

矩阵的转置是一个行列矩阵，它的每一行其实是原矩阵的每一列：
$\boldsymbol{A}^\top = \begin{bmatrix} a_{11} & a_{21} & \dots & a_{m1} \\ a_{12} & a_{22} & \dots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \dots & a_{mn} \end{bmatrix}.$

两个相同形状的矩阵的加法实际上是按元素做加法：

$\boldsymbol{A} + \boldsymbol{B} = \begin{bmatrix} a_{11} + b_{11} & a_{12} + b_{12} & \dots & a_{1n} + b_{1n} \\ a_{21} + b_{21} & a_{22} + b_{22} & \dots & a_{2n} + b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} + b_{m1} & a_{m2} + b_{m2} & \dots & a_{mn} + b_{mn} \end{bmatrix}.$

我们使用符号表示两个矩阵按元素做乘法的运算：

$\boldsymbol{A} \odot \boldsymbol{B} = \begin{bmatrix} a_{11} b_{11} & a_{12} b_{12} & \dots & a_{1n} b_{1n} \\ a_{21} b_{21} & a_{22} b_{22} & \dots & a_{2n} b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} b_{m1} & a_{m2} b_{m2} & \dots & a_{mn} b_{mn} \end{bmatrix}.$

定义一个标量。标量与矩阵的乘法也是按元素做乘法的运算：

$k\boldsymbol{A} = \begin{bmatrix} ka_{11} & ka_{21} & \dots & ka_{m1} \\ ka_{12} & ka_{22} & \dots & ka_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ ka_{1n} & ka_{2n} & \dots & ka_{mn} \end{bmatrix}.$

其它例如标量与矩阵按元素相加、相除等运算与上式中的相乘运算类似。矩阵按元素开根号、取对数等运算也即对矩阵每个元素开根号、取对数等，并得到和原矩阵形状相同的矩阵。

矩阵乘法和按元素的乘法不同。设为行列的矩阵，为行列的矩阵。两个矩阵相乘的结果

$\boldsymbol{A} \boldsymbol{B} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1p} \\ a_{21} & a_{22} & \dots & a_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ a_{i1} & a_{i2} & \dots & a_{ip} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mp} \end{bmatrix} \begin{bmatrix} b_{11} & b_{12} & \dots & b_{1j} & \dots & b_{1n} \\ b_{21} & b_{22} & \dots & b_{2j} & \dots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ b_{p1} & b_{p2} & \dots & b_{pj} & \dots & b_{pn} \end{bmatrix}$

是一个行列的矩阵，其中第行第列（）的元素为

范数

设维向量中的元素为。向量的范数为

例如，的范数是该向量元素绝对值的和：

而的范数是该向量元素平方和的平方根：

我们通常用指代。

设是一个行列矩阵。矩阵的 Frobenius 范数为该矩阵元素平方和的平方根：

其中为矩阵在第行第列的元素。

特征向量和特征值

对于一个行列的矩阵，假设有标量和非零的维向量使

那么是矩阵的一个特征向量，标量是对应的特征值。

微分

我们在这里简要介绍微分的一些基本概念和演算。

导数和微分

假设函数的输入和输出都是标量。函数的导数

且假定该极限存在。给定，其中和分别是函数的自变量和因变量。以下有关导数和微分的表达式等价：

其中符号和也叫微分运算符。常见的微分演算有（为常数）、（为常数）、、等。

如果函数和都可导，设为常数，那么

$\begin{aligned} \frac{d}{dx} [Cf(x)] &= C \frac{d}{dx} f(x),\\ \frac{d}{dx} [f(x) + g(x)] &= \frac{d}{dx} f(x) + \frac{d}{dx} g(x),\\ \frac{d}{dx} [f(x)g(x)] &= f(x) \frac{d}{dx} [g(x)] + g(x) \frac{d}{dx} [f(x)],\\ \frac{d}{dx} \left[\frac{f(x)}{g(x)}\right] &= \frac{g(x) \frac{d}{dx} [f(x)] - f(x) \frac{d}{dx} [g(x)]}{[g(x)]^2}. \end{aligned}$

如果和都是可导函数，依据链式法则，

泰勒展开

函数的泰勒展开式是

其中为函数的阶导数（求次导数），为的阶乘。假设是个足够小的数，如果将上式中和分别替换成和，我们可以得到

由于足够小，上式也可以简化成

偏导数

设为一个有个自变量的函数，，它有关第个变量的偏导数为

以下有关偏导数的表达式等价：

为了计算，我们只需将视为常数并求有关的导数。

梯度

假设函数的输入是一个维向量，输出是标量。函数有关的梯度是一个由个偏导数组成的向量：

为表示简洁，我们有时用代替。

假设是一个向量，常见的梯度演算包括

$\begin{aligned} \nabla_{\boldsymbol{x}} \boldsymbol{A}^\top \boldsymbol{x} &= \boldsymbol{A}, \\ \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{A} &= \boldsymbol{A}, \\ \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &= (\boldsymbol{A} + \boldsymbol{A}^\top)\boldsymbol{x},\\ \nabla_{\boldsymbol{x}} \|\boldsymbol{x} \|^2 &= \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{x} = 2\boldsymbol{x}. \end{aligned}$

类似地，假设是一个矩阵，那么

黑塞矩阵

假设函数的输入是一个维向量，输出是标量。假定函数所有的二阶偏导数都存在，的黑塞矩阵是一个行列的矩阵：

$\boldsymbol{H} = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \dots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix},$

其中二阶偏导数

概率

最后，我们简要介绍条件概率、期望和均匀分布。

条件概率

假设事件和事件的概率分别为和，两个事件同时发生的概率记作或。给定事件，事件的条件概率

也就是说，

当满足

时，事件和事件相互独立。

期望

随机变量的期望（或平均值）

均匀分布

假设随机变量服从上的均匀分布，即。随机变量取和之间任意一个数的概率相等。

练习

求函数的梯度。

机器学习数学基础