机器学习及深度学习中的符号说明

数和数组

$a$	$标量（整数或实数）$
$\mathbf{a}$	$向量$ 编辑中用boldsymbol+小写字母
$\mathbf{A}$	$矩阵$ 编辑中用boldsymbol+大写字母
$\mathsf{A}$	$张量$ 编辑中用sf+大写字母
${\mathbf{I}}_n$	$n行n列的单位矩阵$
$\mathbf{I}$	$维度蕴含于上下文的单位矩阵$
${\mathbf{e}}^{(i)}$	$标准基向量[0,\cdots ,0,1,0,\cdots ,0]，其中索引i处值为1$
$\mathrm{diag}(\mathbf{a})$	$对角方阵其中对角元素由\mathbf{a}给定$
$\mathrm{a}$	$标量随机变量$ 编辑中用rm+小写字母
$\mathbf{a}$	$向量随机变量$ 编辑中用bf+小写字母
$\mathbf{A}$	$矩阵随机变量$ 编辑中用bf+大写字母

集合和图

$\mathbb{A}$	$集合$ 编辑中用Bbb+大写字母
$\mathbb{R}$	$实数集$ 编辑中用Bbb字体
$\{0,1\}$	$包含0和1的集合$
$\{0,1,\cdots ,n\}$	$包含0和n直接所有整数的集合$
$[a,b]$	$包含a和b的实数区间$
$(a,b]$	$不包含a但包含b的实数区间$
$\mathbb{A}\setminus \mathbb{B}$	$差集，即其元素包含于\mathbb{A}但不包含于\mathbb{B}$
$\mathcal{G}$	$图$ 编辑中用mathcal+大写字母G
$P{a}_{\mathcal{G}}({\mathrm{x}}_i)$	$图\mathcal{G}中{\mathrm{x}}_{\mathrm{i}}的父节点$

索引

$a_i$	$向量\mathbf{a}的第i个元素，其中索引从1开始$
$a_{-i}$	$除了第i元素，\mathbf{a}的所有元素$
${\mathbf{A}}_{i,j}$	$矩阵\mathbf{A}的i,j元素$
${\mathbf{A}}_{i,:}$	$矩阵\mathbf{A}的第i行$
${\mathbf{A}}_{:,i}$	$矩阵\mathbf{A}的第i列$
$A_{i,j,k}$	$3维张量\mathsf{A}的(i,j,k)元素$
${\mathsf{A}}_{:,:,i}$	$3维张量的2维切片$
${\mathrm{a}}_{\mathrm{i}}$	$随机向量\mathbf{a}的第i个元素$

线性代数中的操作

${\mathbf{A}}^{\mathsf{T}}$	$矩阵\mathbf{A}的转置$
${\mathbf{A}}^{+}$	$\mathbf{A}的Moore-Penrose伪逆$
$\mathbf{A}\odot \mathbf{B}$	$\mathbf{A}和\mathbf{B}的逐元素乘积（Hadamard乘积）$
$\det (\mathbf{A})$	$\mathbf{A}的行列式$

微积分

$\frac{dy}{dx}$	$y关于x的导数$
$\frac{\partial y}{\partial x}$	$y关于x的偏数$
${\nabla }_{\mathbf{x}}y$	$y关于\mathbf{x}的梯度$
${\nabla }_{\mathbf{X}}y$	$y关于\mathbf{X}的矩阵导数$
${\nabla }_{\mathsf{X}}y$	$y关于\mathsf{X}求导后的张量$
$\frac{\partial f}{\partial \mathbf{x}}$	$f:{\mathbb{R}}^n\to {\mathbb{R}}^m的Jacobian矩阵\mathbf{J}\in {\mathbb{R}}^{m\times n}$
${\nabla }_{\mathbf{x}}^{2}f(\mathbf{x})or\mathbf{H}(f)(\mathbf{x})$	$f在点\mathbf{x}处的Hessian矩阵$
$$\int f(\mathbf{x})d\mathbf{x}$$	$\mathbf{x}整个域上的定积分$
$${\int }_{\mathbb{S}}f(x)dx$$	$集合\mathbb{S}上关于\mathbf{x}的定积分$

概率和信息论

$\mathrm{a}\perp \mathrm{b}$	$\mathrm{a}和\mathrm{b}相互独立的随机变量$
$\mathrm{a}\perp \mathrm{b}\mid \mathrm{c}$	$给定c后条件独立$
$P(\mathrm{a})$	$离散变量上的概率分布$
$p(\mathrm{a})$	$连续变量（或变量类型未指定时）上的概率分布$
$\mathrm{a}\sim \mathrm{P}$	$具有分布P的随机变量\mathrm{a}$
${\mathbb{E}}_{\mathrm{x}\sim \mathrm{P}}[f(x)]or\mathbb{E}f(x)$	$f(x)关于P(\mathrm{x})的期望$
$\mathrm{Var}(f(x))$	$f(x)在分布P(\mathrm{x})下的方差$
$\mathrm{Cov}(f(x),g(x))$	$f(x)和g(x)在分布P(\mathrm{x})下的协方差$
$H(\mathrm{x})$	$随机变量\mathrm{x}的香浓熵$
$D_{KL}(P\Vert Q)$	$P和Q的KL散度$
$\mathcal{N}(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })$	$均值为\mathbf{\mu }，协方差为\mathbf{\Sigma }，\mathbf{x}上的高斯分布$

函数

$f:\mathbb{A}\to \mathbb{B}$	$定义域为\mathbb{A}值域为\mathbb{B}的函数f$
$f\circ g$	$f和g的组合$
$f(\mathbf{x};\mathbf{\theta })$	$\mathbf{\theta }参数化,关于\mathbf{x}的函数(有时为了简化表示,忽略\mathbf{\theta }而记为f(\mathbf{x}))$
$\log x$	$x的自然对数$
$\sigma (x)$	$Logisticsigmoid,\frac{1}{1+\exp (-x)}$
$\zeta (x)$	$Softplus,\log (1+\exp (x))$
$\Vert \mathbf{x}{\Vert }_p$	$\mathbf{x}的L^p范数$
$\Vert \mathbf{x}\Vert$	$\mathbf{x}的L^2范数$
$x^{+}$	$x的正数部分,即max(0,x)$
$1_{condition}$	$如果条件为真则为1,否则为0$

$有时使用函数f它的参数是一个标量,但应用到一个向量、矩阵或张量:$
$f(\mathbf{x})、f(\mathbf{X})或f(\mathsf{X})。这表示逐元素地将f应用于数组。$
$例如\mathsf{C}=\sigma (\mathsf{X}),则对所有合法的\mathsf{i},\mathsf{j},和\mathsf{k},{\mathsf{C}}_{\mathsf{i},\mathsf{j},\mathsf{k}}=\sigma ({\mathsf{X}}_{\mathsf{i},\mathsf{j},\mathsf{k}})$

数据集和分布

$p_{data}$	$数据生成分布$
${\hat{p}}_{train}$	$由训练集定义的经验分布$
$\mathbb{X}$	$训练样本的集合$
${\mathbf{x}}^{(i)}$	$数据集的第i个样本(输入)$
$y^{(i)}或{\mathbf{y}}^{(i)}$	$监督学习中与{\mathbf{x}}^{(i)}关联的目标$
$\mathbf{X}$	$m\times n的矩阵,其中行{\mathbf{X}}_{i,:}为输入样本{\mathbf{x}}^{(i)}$