A Survey of Learning on Small Data（二）

本文是《A Survey of Learning on Small Data》的翻译，只针对文字部分，图表请查看原文。

4. 几何角度

从几何角度来看，可以在欧几里德空间和非欧几里得（双曲）空间中对小数据进行学习。为了学习有效的几何表示，我们研究了关于Frechet平均值统一表达式的欧氏平均值和双曲平均值的性质。

4.1 Frechet均值

为了理解从统计总体中抽样的观察值集合，将观察值的平均值作为一个强大的统计数据，以从基本分布中总结观察值。什么意思？根据不同的数据分布和统计目标，它可能会有所不同。为了描述真实世界数据的表示，平均值的典型候选值可能是算术平均值和中值，但在某些情况下，几何平均值或调和平均值可能更可取。当数据存在于没有向量结构的集合中时，例如流形或度量空间，需要不同的均值概念，即Frechet均值。
概率度量中的Frechet均值。我们探索了一个可以用较少的结构来定义的一般平均值，但包含了平均值的常见概念——Frechet平均值。Frechet均值是几何表示中的一个重要蕴涵（含义），它嵌入了一个“质心”，以指示度量空间上的局部特征（邻域）。对于一个距离空间$(\mathcal{X},d_{\mathcal{X}})$，让$\mathbb{P}$是$\mathcal{X}$上的一个概率度量满足$\int d_{\mathcal{X}}^2(x,\mu )d\mathbb{P}(x)<\infty$对于所有的$y\in \mathcal{X}$，Frechet平均值是执行下式的argmin优化
$$\mu \mathcal{X}=\underset{\mu \in \mathcal{X}}{\mathrm{argmin}}\int d_{\mathcal{X}}^2(x,\mu )d\mathbb{P}(x).\text{\hspace{1em}(7)}$$
概率度量定义的Frechet均值更为广义，可用于更常见的对象。
Frechet均值的优势。Frechet均值关于公式（7）有两个显著优点。1） 它为机器学习中许多众所周知的平均值概念提供了一个通用的构造，因此暗示了数据的许多有趣的属性。2） 它在结构比欧氏空间（例如度量空间或黎曼流形）更少的空间中提供了均值的概念，从而扩大了在这些空间中采用机器学习方法的可能性。
黎曼流形的Frechet均值。我们接着观察了流形中Frechet均值。对于任意一个黎曼空间$\mathcal{M}$有度量$g_x(\cdot ,\cdot )$投影切线空间${\mathcal{T}}_x\mathcal{M}\times {\mathcal{T}}_x\mathcal{M}\to {\mathbb{R}}^n$，其中$||v|{|}_g=\sqrt{g_x(v,v)},$让$\gamma (t):[a,b]\to \mathcal{M}$是一个测地线，规定距离$d_{\mathcal{M}}(\cdot ,\cdot )$是测地线的一阶积分。对于所有的$x,y\in \mathcal{M}$，距离$d_{\mathcal{M}}(x,y):=\inf {\int }_a^b||{\gamma }^{\prime }(t)|{|}_{g}dt$，其中$\gamma (t)$表示任何一个测地线因此$\gamma (a)=x,\gamma (b)=y.$给定一个点集$\mathcal{X}=\{x_1,x_2,\cdots ,x_m\}\subseteq \mathcal{M}$，同时设定每一个点$x_i\in \mathcal{X}$的概率密度是$\frac{1}{m}$，加权的Frechet均值是进行下式的argmin优化
$${\mu }_{\mathcal{M}}=\underset{\mu \in \mathcal{M}}{\mathrm{argmin}}\sum _{i=1}^m{\omega }_i{d}_{\mathcal{M}}^2(x_i,\mu ),\text{\hspace{1em}(8)}$$
其中${\omega }_i$表示$x_i$的权重，同时$\mu \in \mathcal{M}$的约束规定$\mu$可以收敛于具有无限候选项的$\mathcal{M}.$给定在欧式几何中定义的$d_{\mathcal{M}}(a,b):=||a-b|{|}_2$，同时对于所有的$i,{\omega }_i=1/m$，然后将加权Frechet平均值简化为欧氏平均值，从而缩短了计算时间。该特定设置在kmeans聚类、最大平均差异优化等方面取得了很好的结果。

4.2 欧几里得均值

欧氏平均数是机器学习中最广泛采用的平均数。同时，欧氏平均值对于执行聚合操作（如注意力、批量归一化）非常重要。设${\mathcal{R}}^n$表示曲率为零的欧氏流形，其相应的欧式度量定义为$g^E=diag([1,1,\cdots ,1]).$对于$\mathbf{x},\mathbf{y}\in {\mathcal{R}}^n$，欧式距离如下所示：
$$d_{\mathcal{R}}(\mathbf{x},\mathbf{y})=||\mathbf{x}-\mathbf{y}|{|}_2.\text{\hspace{1em}(9)}$$
然后$({\mathcal{R}}^n,d_{\mathcal{R}})$是一个完备的距离空间。接下来，我们基于加权Frechet均值关于方程（8）给出了欧氏平均值的形式化描述。
命题1。给定一个点集$\mathcal{X}=\{x_1,x_2,\cdots ,x_m\}\subseteq {\mathcal{R}}^n$，欧式均值${\mu }_{\mathcal{R}}$最小化下述问题：
$$\underset{\mu \in {\mathcal{R}}^n}{\min }\sum _{i=1}^m{\omega }_i{d}_{\mathcal{R}}^2(x_i,\mu ),\text{\hspace{1em}(10)}$$
其中${\omega }_i\ge 0$表示$x_i$的权重系数。
$({\mathcal{R}}^n,d_{\mathcal{R}})$的完备性保证了方程（10）具有闭合梯度，因此存在唯一解。有了命题1，欧式均值${\mu }_{\mathcal{R}}$是下式唯一闭合解
$${\mu }_{\mathcal{R}}=\frac{1}{m}\sum _{i=1}^m{x}_i.\text{\hspace{1em}(11)}$$

4.3 非欧均值

最近的研究表明，双曲线几何比欧几里德几何具有更强的表达能力来建模层次特征。同时，欧氏平均值自然延伸到双曲几何上的Frechet平均值。接下来，我们讨论关于黎曼流形的Poincare和Lorentzian模型上的Frechet均值。Poincare和Lorentz模型的插图如图1所示。

4.3.1 Poincare质心

Poincare球模型${\mathcal{P}}^n$有常负曲率对应于黎曼流形$({\mathcal{P}}^n,g_x^{\mathcal{P}}),$其中${\mathcal{P}}^n=\{x\in {\mathbb{R}}^n:||x||<1\}$表示开放单位球，定义为欧氏范数小于1的n维向量集。Poincare度量定义为$g_x^{\mathcal{P}}={\lambda }_x^2{g}^E$，其中${\lambda }_x=\frac{2}{1-||x|{|}^2}$表示共形因子，同时$g^E$表示欧式度量。对于任意$\mathbf{x},\mathbf{y}\in {\mathcal{P}}^n$，Poincare距离定义如[59]所示：
$$d_{\mathcal{P}}(\mathbf{x},\mathbf{y})={\cosh }^{-1}\left(1+2\frac{||\mathbf{x}-\mathbf{y}|{|}^2}{(1-||\mathbf{x}|{|}^2)(1-||\mathbf{y}|{|}^2)}\right).\text{\hspace{1em}(12)}$$
然后$({\mathcal{P}}^n,d_{\mathcal{P}})$是距离空间。因此，基于Poincare距离，我们对Poincare质心有以下命题。
命题2。给定一个点集$\mathcal{X}=\{x_1,x_2,\cdots ,x_m\}\subseteq {\mathcal{P}}^n$，Poincare质心${\mu }_{\mathcal{P}}$最小化下述问题：
$$\underset{\mu \in {\mathcal{P}}^n}{\min }\sum _{i=1}^m{\omega }_i{d}_{\mathcal{P}}^2(x_i,\mu ),\text{\hspace{1em}(13)}$$
其中${\omega }_i\ge 0$表示$x_i$的权重系数。
Poincare质心${\mu }_{\mathcal{P}}$没有闭合解，因此Nickel通过梯度下降来计算它。

4.3.2 Lorentzian质心

Lorentz模型。Lorentz模型${\mathcal{L}}^n$有常曲率$-1/K$避免因Poincare度量中的分数引起数值不稳定性，对于$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^{n+1}$，Lorentz标量积形式化如[60]所示：
$$⟨\mathbf{x},\mathbf{y}{⟩}_{\mathcal{L}}=-x_0{y}_0+\sum _{i=1}^n{x}_i{y}_i\le -K.\text{\hspace{1em}(14)}$$
这个n维双曲空间模型对应于黎曼流形$(\mathcal{L},g_{\mathbf{x}}^{\mathcal{L}})$，其中$\mathcal{L}=\{\mathbf{x}\in {\mathbb{R}}^{n+1}:⟨\mathbf{x},\mathbf{y}{⟩}_{\mathcal{L}}=-K,x_0>0\}$（即两片n维双曲面的上片）同时$g_{\mathbf{x}}^{\mathcal{L}}=diag([-1,1,\cdots ,1])$表示Lorentz度量。满足除三角形不等式以外的所有距离公理的$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^{n+1}$的平方Lorentz距离定义为[60]：
$$d_{\mathcal{L}}^2(\mathbf{x},\mathbf{y})=||\mathbf{x}-\mathbf{y}|{|}_{\mathcal{L}}^2=-2K-2⟨\mathbf{x},\mathbf{y}{⟩}_{\mathcal{L}}.\text{\hspace{1em}(15)}$$
命题3给出了表示Lorentz模型下非球面分布的Lorentz质心。
命题3。给定一个点集$\mathcal{X}=\{x_1,x_2,\cdots ,x_m\}\subseteq {\mathcal{L}}^n$，Lorentzian质心${\mu }_{\mathcal{L}}$最小化下述问题：
$$\underset{\mu \in {\mathcal{L}}^n}{\min }\sum _{i=1}^m{\omega }_i{d}_{\mathcal{L}}^2(x_i,\mu ),\text{\hspace{1em}(16)}$$
其中${\omega }_i\ge 0$表示$x_i$的权重系数。
Lorentzian质心${\mu }_{\mathcal{L}}$是下式的唯一闭合解
$${\mu }_{\mathcal{L}}=\sqrt{K}\frac{{\sum }_{i=1}^m{\omega }_i{x}_i}{|||{\sum }_{i=1}^m{\omega }_i{x}_i|{|}_{\mathcal{L}}|},\text{\hspace{1em}(17)}$$
其中$|||\mathbf{a}|{|}_{\mathcal{L}}|=\sqrt{|||\mathbf{a}|{|}_{\mathcal{L}}^2|}$表示正类时向量$\mathbf{a}$的虚Lorentzian范数的模。

4.3.3 Lorentzian焦点

在[61]中，Lorentz质心${\mu }_{\mathcal{L}}$的欧氏范数减小，从而产生了对焦点的有效近似，对于非球面分布，它比Lorentz质心更具代表性。然而，由于不确定的参数扰动，近似值不能仅依赖于K。我们还应该控制系数${\omega }_i$以近似Lorentzian焦点。这里${\omega }_i$关于公式（17）可以写成[61]：
$${\omega }_i=\frac{d_{\mathcal{L}}^2(x_i,\mu )}{{\sum }_{i=1}^m{d}_{\mathcal{L}}^2(x_i,\mu )},\text{\hspace{1em}(18)}$$
然后，我们在命题4中给出Lorentzian焦点的近似值。
命题4。给定一个点集$\mathcal{X}=\{x_1,x_2,\cdots ,x_m\}\subseteq {\mathcal{L}}^n$，Lorentzian焦点${\mu }_{\mathcal{F}}$最小化下述问题：
$$\underset{\mu \in {\mathcal{L}}^n}{\min }\sum _{i=1}^m{\omega }_i⟨x_i,\mu {⟩}_{\mathcal{L}}.\text{\hspace{1em}(19)}$$
然后Lorentzian焦点${\mu }_{\mathcal{F}}$能够被下式所近似：
$${\mu }_{\mathcal{F}}=\sqrt{k}\frac{{\sum }_{i=1}^m{\omega }_i{x}_i}{|||{\sum }_{i=1}^m{\omega }_i{x}_i|{|}_{\mathcal{L}}|},\text{\hspace{1em}(20)}$$
其中${\omega }_i\ge 0$遵循公式（18）。

4.4 核均值

核平均值可以在欧几里德几何和双曲几何中推广，它给出了关于Frechet平均值概率度量的几何平均值的核表达式。
我们首先回顾了再生Hilbert空间（RKHS）的一些性质。设$\mathcal{H}$表示$\mathcal{X}$上的一个RKHS，那么每个有界线性泛函都是由$\mathcal{H}$中一个唯一向量的内积给出的。对于任意$x\in \mathcal{X}$，存在一个唯一向量$k_x\in \mathcal{H}$因此对于每个$f\in \mathcal{H}$存在$f(x)=⟨f,k_x⟩$。函数$k_x=K(x,\cdot )$被称为点$x$的再生核，其中$K(x_1,x_2):\mathcal{X}\times \mathcal{X}\to \mathbb{R}$是正定的。对于$\mathcal{H}$中任意的$k_x,k_y$，Hilbert距离如[53]所示：
$$d_{\mathcal{H}}(k_x,k_y)=||k_x-k_y||=\sqrt{⟨k_x-k_y,k_x-k_y⟩}.\text{\hspace{1em}(21)}$$
然后$(\mathcal{H},d_{\mathcal{H}})$是一个完备的距离空间。根据等式（7），命题5给出了核平均值的形式化描述。
命题5。给定一个具有可度量再生核$K(x_1,x_2):\mathcal{X}\times \mathcal{X}\to \mathbb{R}$的可分离RKHS$\mathcal{H}$，因此对于所有的$y\in \mathcal{X},\int d_{\mathcal{H}}^2(k_x,k_y)d\mathbb{P}(x)<\infty ,$其中$\mathbb{P}$表示$\mathcal{X}$上的一个概率度量。然后核平均${\mu }_{\mathcal{H}}$最小化下述问题：
$$\underset{\mu \in \mathcal{H}}{\min }\int d_{\mathcal{H}}^2(k_x,\mu )d\mathbb{P}(x).\text{\hspace{1em}(22)}$$
基于完备的距离空间$(\mathcal{H},d_{\mathcal{H}})$，以下定理给出了核平均的解，这与文献[62]中定义的经典核平均一致。
定理3。核均值${\mu }_{\mathcal{H}}$是唯一的闭合解：
$${\mu }_{\mathcal{H}}=\int K(x,\cdot )d\mathbb{P}(x),\text{\hspace{1em}(23)}$$
其中$K(x,\cdot )$说明核有一个固定在$x$的参数，另一个是任意的。
定理3首次在Frechet均值中包含了核均值，从而保持了与其他标准均值（例如欧氏均值）的形式一致性。更多细节和证明见附录B部分。

5. 优化求解器

为了探索上述欧氏和非欧氏范式几何表示的优化解算器，我们将这些解算器分为三种基于梯度的方法：用于优化欧氏几何范式的欧氏梯度、用于优化双曲几何范式的黎曼梯度和用于优化欧式几何范式和双曲几何范例的斯坦因梯度，其详细信息如下所示。

5.1 欧式梯度

随机梯度下降（SGD）。SGD是寻找代价函数局部极小值的有效方法，它可以用于优化欧氏空间中形式化argmin问题表示的欧氏质心。
随机梯度下降。给定欧式空间中的一个最小化问题$\underset{x\in {\mathbb{R}}^n}{\min }J(x)$，在t时刻，参数$x_t$被更新为：
$$x_{t+1}=x_t-\eta \cdot {\nabla }_{x}J(x),\text{\hspace{1em}(24)}$$
其中$J(x)$表示有参数$x$的代价函数，同时$\eta$表示学习率。

5.2 非欧梯度

流形优化旨在通过将欧氏空间中的各种约束优化问题转化为黎曼流形上的无约束优化问题来寻求这些问题的解。相应地，引入黎曼梯度下降（RGD）来执行迭代优化。利用该方案，黎曼优化领域得到了迅速发展。不足为奇的是，双曲线几何也采用RGD来优化Poincare球${\mathcal{P}}^n$和Lorentz模型${\mathcal{L}}^n$上不同的范式。
黎曼梯度下降。给定一个黎曼流形$\mathcal{M}$上的最小化问题$\underset{x\in \mathcal{M}}{\min }J(x)$，在t时刻$x_t$通过指数映射${\exp }_x$来更新：
$$x_{t+1}={\exp }_{x_t}(-\eta J^{\prime }(x_t)),\text{\hspace{1em}(25)}$$
其中$J^{\prime }(x_t)$表示正切空间${\mathcal{T}}_x\mathcal{M}$上的黎曼梯度同时$\eta$表示学习率。
Poincare模型的指数映射。给定一个黎曼度量$g_x(\cdot ,\cdot )$能够在正切空间${\mathcal{T}}_x\mathcal{M}$上推导一个内积$⟨u,v⟩:=g_x(u,v)$。对于每一个点$x\in \mathcal{M}$和向量$u\in {\mathcal{T}}_x\mathcal{M}$，存在唯一的测地线$\gamma :[0,1]\to \mathcal{M}$其中$\gamma (0)=x,{\gamma }^{\prime }=u$。指数映射${\exp }_x:{\mathcal{T}}_x\mathcal{M}\to \mathcal{M}$被定义为${\exp }_x(u)=\gamma (1)$，其中$d_{\mathcal{P}}(x,{\exp }_x(u))=\sqrt{g_{\mathcal{M}}(u,u)}$。根据[51]，
$${\exp }_x(u)=\frac{(1-2⟨x,z{⟩}_2-||z|{|}^2)x+(1+||x|{|}^2)z}{1-2⟨x,z{⟩}_2+||x|{|}^2||z|{|}^2},\text{\hspace{1em}(26)}$$
其中$z=\tanh (\frac{||u|{|}^2}{1+||x|{|}^2}{)}_{\frac{u}{||u||}}$。
Lorentz模型的指数映射。根据[57]中的命题3.2，${\exp }_x(u)=\gamma (1)$在Lorentz模型${\mathcal{L}}^n$上可以被表示为
$${\exp }_x(u)=\cosh (||u|{|}_{\mathcal{L}})x+u\frac{\sinh (||u|{|}_{\mathcal{L}})}{||u|{|}_{\mathcal{L}}}.\text{\hspace{1em}(27)}$$

5.3 Stein梯度

贝叶斯推断是一种统计推断，它调用贝叶斯定理来近似概率分布。变分推理通过概率优化逼近参数化分布，该概率优化涉及可处理变量的采样，如马尔可夫链蒙特卡罗（MCMC）。然而，贝叶斯近似误差和概率或后验参数分布估计的变分推断不易控制，导致校准结果不具有统计显著性。为了加强近似，Liu等人采用了Stein运算，该运算控制给定概率度量中两个概率分布之间距离的界限。根据这一建议，Liu等人提出了Stein变分梯度下降（SVGD）算法，该算法利用核化Stein差异（KSD）和平滑变换最小化两个概率分布$p$和$q$的KL散度，从而进行迭代概率分布逼近。
具体而言，MCMC通过采样估计后验分布的分母积分，从而带来计算效率低下的问题。设$p_0(x)$表示先验，$\{D_k\}$是独立同分布观察集合，$\Omega =\{q(x)\}$是分布集，变分推理采用了一种新的思路，通过最小化目标后验分布$p(x)$和另一个分布$q^{\ast }(x)$之间的KL散度来缓解这一问题，从而近似于$p(x)$：
$$q^{\ast }(x)=\underset{q(x)\in \Omega }{\mathrm{argmin}}\{KL(q(x)||p(x))\equiv \mathcal{W}\},\text{\hspace{1em}(28)}$$
其中，$\bar{p}(x):=p_0(x)\prod _{i=1}^{N}p(D_i|x),Z=\int \bar{p}(x)dx$表示需要复杂计算的归一化常量，$\mathcal{W}={\mathbb{E}}_q[\log q(x)]-{\mathbb{E}}_q[\log \bar{p}(x)]+\log Z$。因此，为了避免计算麻烦的归一化常数$Z$并寻求通用的贝叶斯推理算法，Liu等人采用了Stein方法并提出了SVGD算法。更多详情见附录C部分。
考虑到Stein方法的Stein恒等式（方程（69））、Stein差异（方程（71））和核化Stein差异的概念，Liu等人重新思考了方程（28）中定义的变分推理的目标，他们认为分布集$\Omega$可以通过对可处理的参考分布$q_0(x)$进行平滑变换得到，其中$\Omega$表示随机变量的分布集，其形式为$r=T(x)$，密度为：
$$q_{[T]}(r)=q(\mathcal{R})\cdot |\det ({\nabla }_r\mathcal{R})|,\text{\hspace{1em}(29)}$$
其中$T:\mathcal{X}\to \mathcal{X}$表示一个平滑变换，$\mathcal{R}=T^{-1}(r)$表示$T(r)$的逆映射同时${\nabla }_r\mathcal{R}$表示$\mathcal{R}$的Jacobian矩阵。对于密度，$T$应该存在一些限制，以确保方程（28）中的变分优化可行。例如，$T$必须是一个一对一变换，其对应的Jacobian矩阵不应在计算上难以处理。此外，使用[72]，很难筛选出$T$的最佳参数。
因此，为了绕过上述限制并最小化公式（28）中的KL散度，提出了一个增量变换$T(x)=x+\epsilon \phi (x)$，其中$\phi (x)$表示控制扰动方向的平滑函数，$\epsilon$表示扰动大小。利用定理5和引理2中，在$T(x)$的有限变换中，如何从初始参考分布$q_0$近似目标分布$p$？设$s$表示总分布的数量，通过公式（30）获取分布$\{q_t{\}}_{t=1}^s$路径的一个迭代过程被采用去回答这个问题：
$$\begin{gathered} q_{t+1}=q_t[T_t^{\ast }], \\ {T}_t^{\ast }(x)=x+{\epsilon }_t{\phi }_{q_t,p}^{\ast }(x),\text{\hspace{1em}(30)} \end{gathered}$$
其中$T_t^{\ast }$表示在第$t$次迭代时的转换方向，然后在迭代$t$时利用${\epsilon }_{t}KSD(q_t,p)$降低KL散度。然后，分布$q_t$最终收敛到目标分布$p$。为了执行上述迭代过程，Stein变分梯度下降（SVGD）采用定理4中提出的粒子迭代更新过程来近似公式（79）中的${\phi }_{q,p}^{\ast }$。
定理4。设$p(x)$表示目标分布，$\{x_i^0{\}}_{i=1}^m$表示初始粒子。而且，在迭代$t$，设$\vartheta ={\nabla }_{x_j^t}\log p(x_j^t),\mu (x_j^t,x)={\nabla }_{x_j^t}k(x_j^t,x)$表示一个常规项，$\Phi$表示${\epsilon }_t{\hat{\phi }}^{\ast }(x)$，粒子集利用公式（30）中定义的$T_t^{\ast }$来迭代更新，${\phi }_{q_t,p}^{\ast }$中$q_t$下的期望通过$\{x_i^t{\}}_{i=1}^m$的经验均值来近似：
$$x_i^t+\Phi \to x_i^{t+1},\text{\hspace{1em}(31)}$$
其中，
$${\hat{\phi }}^{\ast }(x)=\frac{1}{m}\sum _{j=1}^m[k(x_j^t,x)\vartheta +\mu (x_j^t,x)].\text{\hspace{1em}(32)}$$
对于${\hat{\phi }}^{\ast }(x)$，第一项$k(x_j^t,x)\vartheta$表示核函数加权的所有点的梯度的加权和，核函数遵循平滑梯度方向，将粒子推向$p(x)$的概率区域；第二项$\mu (x_j^t,x)$表示防止点塌陷为$p(x)$局部模式的正则项，比如让$x$远离$x_j^t$。

6. 小数据表示的学习

随着对小数据学习需求的不断增长，我们探索在不同的未来方向下促进小数据表示的模型学习，包括迁移学习、元学习、强化学习、对比学习和图表示学习等，我们介绍这些学习主题，并解释小数据学习的潜力。

6.1 小数据的迁移学习

大多数机器学习理论都基于一个共同的假设：训练和测试数据遵循相同的分布。然而，这种假设过于严格，无法满足或在许多实际场景中可能不成立。迁移学习放松了这个假设的约束（即训练和测试数据可以从不同的分布或领域中提取），它旨在挖掘不同领域之间的领域不变特征和结构，以便进行有效的数据和知识迁移。具体来说，迁移学习试图通过利用从源域学习的知识来提高目标域中模型的能力，例如，将骑自行车的知识迁移到驾驶汽车。
根据[116]，迁移学习的核心问题之一是：可以迁移哪些跨领域知识来提高目标领域模型的性能？虽然现有的解决方案可以在某些特定场景中有效地回答这个问题，但很少有通用的数据驱动解决方案。然而，从数据表示的角度来看，小数据学习为迁移学习中的跨领域知识开发提供了一个值得注意的范例。此外，大数据场景下的迁移学习效率低且计算成本高，而对小数据的学习可能会缓解此问题，并有助于获取更高效、更健壮的模型，以实现其强大的表示能力。此外，可能存在从源域传输的噪声或扰动数据，这可能会降低目标域模型的性能，对小数据的学习有助于在传输学习中消除这些不可信的数据，从而提高目标模型的性能。具体来说，我们从迁移学习的正式定义开始：
定义7。迁移学习。设$D_s$表示源域且学习任务$T_s$，$D_t$表示目标域并且它对应的学习任务是$T_t$。迁移学习旨在利用从$D_s$和$T_s$学到的知识，提高$D_t$中目标预测函数$f_t$的学习性能，其中$D_s\ne D_t$，或者$T_s\ne T_t.$
根据源域和目标域及任务之间的不同情况，现有的迁移学习方法大致可分为三种情况：归纳迁移学习、转化迁移学习和无监督迁移学习。

• 在归纳迁移学习中，1）某些标记数据在目标域中可用，目的是诱导预测模型，而不管标记数据在源域中是否可用；2） 源任务和目标任务是不同的，但源域和目标域之间没有这种约束。
• 在转化迁移学习中，1）源域中存在大量标记数据，而目标域中缺少任何标记数据；2） 源任务和目标任务相同，但源域和目标域不同。
• 在无监督迁移学习中，1）除了目标域的无监督任务外，源域和目标域都没有可用的标记数据；2） 目标和源任务是不同但相关的，而源域和目标域没有这样的约束。

在上述三种情况下，表1总结了基于待迁移数据类型的流行迁移学习策略。此外，深度学习在迁移学习中得到了广泛的探索，以利用从源域获得的知识构建深度神经网络。从形式上讲，深度迁移学习的定义如下。
定义8。深度迁移学习。设$D_s$表示源域且深度学习任务表示为$T_s$，$D_t$表示目标域并且深度学习任务是$T_t$，深度迁移学习旨在利用从$D_s$和$T_s$学到的知识，提高$D_t$中具有非线性目标预测函数$f_t$的深度神经网络的性能，其中$D_s\ne D_t$，或者$T_s\ne T_t.$
与非深度迁移学习策略类似，深度迁移学习策略也可分为四类，如表2所示。将小数据学习引入到迁移学习中是很有潜力的。例如，在非深度迁移学习中，可以通过重新加权，利用从源域获得的重要且信息丰富的小数据来执行实例迁移；类推，在深度迁移学习中，我们也可以通过深度神经网络对小数据进行实例迁移。此外，在特征表示迁移学习的不同场景中，也可以使用小数据学习方法有效地提取领域不变特征。同样，在深度迁移学习的背景下，在基于实例的深度迁移学习源域中提取部分实例，重用在基于网络的深度迁移学习的源域中预先训练好的部分网络，并在深度迁移学习中提取适用于源域和目标域的可迁移表示，可以利用对小数据的学习能力获得更好的性能。总之，小数据学习可以用于各种迁移学习场景，仍有待深入研究。

6.2 小数据的元学习

传统的机器学习模型通常在给定任务专用的数据集上进行训练，从而导致泛化能力差的问题，即学习模型很难适应以前看不到的任务。为了克服这一困难，元学习利用广泛的元知识，例如，在各种学习任务中调整学习参数，来教学习模型学习看不见的任务。
因此，如何提取泛化良好的元知识已成为元学习中的一个关键问题。此外，在许多元学习场景中可能存在很少的有效数据和标签，因此探索如何提取有效数据或提高小数据模型的性能非常重要。小数据学习一直在尝试这一点，它可以为获取元知识提供新的思路，从而有助于缓解过拟合，提高模型的泛化能力。此外，在元训练阶段，对小数据的学习可能有助于选择具有代表性和影响力的元任务，从而获得稳健的元学习模型。具体来说，我们从三个不同的角度对元学习进行了全面概述。
任务分配视角。从任务分配的角度来看，元学习将任务视为模型的样本。此外，这种学习范式旨在学习一种通用的学习算法，该算法可以跨任务进行推广。具体来说，元学习的目标是学习一个通用的元知识$\varphi$，它可以最小化元任务的预期损失。让$q(\mathcal{T})$表示任务的分布，$D$表示元任务的数据集，元学习可以形式化为：
$$\underset{\varphi }{\min }\underset{\mathcal{T}\sim q(\mathcal{T})}{\mathbb{E}}\mathcal{L}(D;\varphi ),\text{\hspace{1em}(33)}$$
其中$\mathcal{L}(D;\varphi )$表示评价元学习模型性能的损失函数。为了解决优化问题，假设我们可以从$q(\mathcal{T})$采样获得一组源任务。在[121]中，元学习包括两个阶段：元训练阶段和元测试阶段。设${\mathcal{D}}_{source}=\{(D_{source}^{train},D_{source}^{val}{)}^{(i)}{\}}_{i=1}^M$表示元训练阶段的$M$源任务集合，其中$D_{source}^{train}$和$D_{source}^{val}$分别表示源任务的训练和测试数据，序号$i$代表每一个任务；${\mathcal{D}}_{target}=\{(D_{target}^{train},D_{target}^{test}{)}^{(i)}{\}}_{i=1}^N$表示在元测试阶段$N$目标任务集合，其中$D_{target}^{train}$和$D_{target}^{test}$分别表示目标任务中的训练和测试数据。在这种情况下，元训练阶段是通过从${\mathcal{D}}_{source}$中抽取不同源任务来学习最佳元知识${\varphi }^{\ast }$并最大化对数可能性，因此它被形式化为：
$$\underset{\varphi }{\max }\log p(\varphi |{\mathcal{D}}_{source}).\text{\hspace{1em}(34)}$$
通过求解这样一个极大值问题，我们获得了一个很好的泛化元知识${\varphi }^{\ast }$，它用于促进对未知目标任务的模型学习。元测试阶段旨在借助${\varphi }^{\ast }$从${\mathcal{D}}_{target}$中抽取的每个未知目标任务的训练数据，获得一个稳健的模型，该模型可以形式化为：
$$\underset{\theta }{\max }\log p(\theta |{\varphi }^{\ast },D_{target}^{train}).\text{\hspace{1em}(35)}$$
因此，我们可以通过求解上述最大值问题得到一个参数为${\theta }^{\ast }$的模型，并通过执行从$D_{target}^{test}$中抽样的目标任务来评估其性能。
双层优化视角。双层优化是一个层次优化问题，即一个优化目标包含另一个内部优化目标作为约束。因此，从双层优化的角度来看，元训练阶段形式化为：
$$\begin{gathered} {\varphi }^{\ast }=\underset{\varphi }{\mathrm{argmin}}\sum _{i=1}^M{\mathcal{L}}^{meta}({\theta }^{\ast (i)}(\varphi ),\varphi ,{D_{source}^{val}}^{(i)}) \\ s.t.{\theta }^{\ast (i)}(\varphi )=\underset{\varphi }{\mathrm{argmin}}{\mathcal{L}}^{task}(\theta ,\varphi ,{D_{source}^{train}}^{(i)}),\text{\hspace{1em}(36)} \end{gathered}$$
其中${\mathcal{L}}^{meta}$和${\mathcal{L}}^{task}$分别表示外部和内部损失目标。内部优化以外部优化中定义的$\varphi$为条件，但$\varphi$在内部优化阶段不能改变；外层优化利用从内层优化中获得的${\theta }^{\ast (i)}(\varphi )$来优化元知识$\varphi$。元学习的双层优化方案如图2所示。
前馈视角。在[121]中，存在不同的元学习方法，它们以前馈方式合成模型。设$\gamma ={\mathbf{x}}^T{\mathbf{e}}_{\varphi }({\mathcal{D}}^{train})$元训练线性回归目标的一个简单示例，从前馈角度优化元训练任务的分布，定义为：
$$\underset{\varphi }{\min }\underset{\mathcal{T}\sim q(\mathcal{T})}{\mathbb{E}}\sum _{(x,y)\in {\mathcal{D}}^{val}}[(\gamma -y{)}^2],\text{\hspace{1em}(37)}$$
其中训练集${\mathcal{D}}^{train}$被嵌入到定义了线性回归权重的向量${\mathbf{e}}_{\varphi }$中，因此根据验证集${\mathcal{D}}^{val}$预测样本$x$。
通过以上三个角度，我们还可以将小数据学习引入不同的元学习场景，因为元学习可以利用小数据学习方法获得的知识来完成看不见的任务。例如，元学习关注元知识$\varphi$的选择，对小数据的学习可能有助于选择$\varphi$，例如为内部级任务分配不同的影响因素，从而影响内部级优化过程中的最终梯度方向。此外，任务采样对元学习模型起着不可或缺的作用，小数据学习可以帮助在元训练阶段对重要的元任务进行采样：从双层优化的角度来看，可以采用小数据学习方法来指导内部优化的任务采样，以获得更好的${\theta }^{\ast }$，最终可以提高元学习模型的性能。此外，通过[121]，可以将小数据学习引入元学习的不同应用，如参数初始化、嵌入函数、模块化元学习。因此，将小数据学习引入元学习是有希望的。

6.3 小数据的增强学习

强化学习是一种人工智能范式，它强调通过奖励预期行为和/或惩罚意外行为来最大化预期收益。在强化学习中，有两个交互对象：代理和环境。代理可以感知环境的状态并奖励环境的反馈，从而做出合理的决策。也就是说，代理的决策功能根据环境的状态采取不同的行动，而学习功能则根据环境的奖励来调整政策，环境可以在代理的行动影响下调整其状态，并将相应的奖励反馈给代理。
然而，使用[136]，强化学习仍然面临许多挑战，其中之一是：从有限的样本中学习真实的系统。此外，深度强化学习策略需要主动的在线数据收集，这意味着在这一过程中收集大规模数据可能成本高昂。在小数据上学习可能有助于从以前收集的交互数据中提取有价值的先验知识，它使我们能够预先训练和部署能够有效学习的代理。此外，通过对小数据的学习提取有效的数据有助于模型获得更好的泛化性能。因此，小数据学习可以被视为强化学习的一种新的数据驱动范式。
具体而言，强化学习策略可分为基于价值的策略、基于策略的策略和行为批评策略。
基于价值的策略。基于价值的策略被引入，用于估算特定状态下的预期值。状态值函数$V_{\pi }(\mathbf{s})$表示给定状态$\mathbf{s}$和策略$\pi$的预期回报，形式化为：
$$V_{\pi }(\mathbf{s})=\mathbb{E}[\mathcal{R}|\mathbf{s},\pi ].\text{\hspace{1em}(38)}$$
由于$V_{\pi }(\mathbf{s})$被设计用来评估策略$\pi$，所以的策略都能被评估去获得最优策略${\pi }^{\ast }$并且相应的状态-价值函数$V_{{\pi }^{\ast }}(\mathbf{s})$被定义为：
$$V_{{\pi }^{\ast }}(\mathbf{s})=\underset{\pi }{\max }{V}_{\pi }(\mathbf{s}),\forall \mathbf{s}\in S,\text{\hspace{1em}(39)}$$
其中$S$表示状态集。因此，我们可以通过在${\mathbf{s}}_t$处的所有操作中进行贪婪搜索，并采取最大化以下目标的操作$\mathbf{a}$来获得${\pi }^{\ast }$：
$$O={\mathbb{E}}_{{\mathbf{s}}_{t+1}\sim \mathcal{T}({\mathbf{s}}_{t+1}|{\mathbf{s}}_t,\mathbf{a})}[V_{{\pi }^{\ast }}({\mathbf{s}}_{t+1})],\text{\hspace{1em}(40)}$$
其中，$\mathcal{T}({\mathbf{s}}_{t+1}|{\mathbf{s}}_t,\mathbf{a})$是所谓的过渡动力学，它构造了时间$t$的状态-动作对到时间$t+1$的一组状态的映射。然而，根据[130]，$\mathcal{T}$在RL设置中不可用是常识。因此，引入了所谓的$\mathcal{Q}$函数：${\mathcal{Q}}_{\pi }(\mathbf{s},\mathbf{a})$作为$V_{\pi }(\mathbf{s})$的替代：
$${\mathcal{Q}}_{\pi }(\mathbf{s},\mathbf{a})=\mathbb{E}[\mathcal{R}|\mathbf{s},\mathbf{a},\pi ],\text{\hspace{1em}(41)}$$
其中初始化动作$\mathbf{a}$和后续的策略$\pi$被预先给定。${\mathcal{Q}}_{\pi }(\mathbf{s},\mathbf{a})$表示在策略$\pi$之后的状态$\mathbf{s}$中执行操作$\mathbf{a}$的预期返回值。因此，给定${\mathcal{Q}}_{\pi }(\mathbf{s},\mathbf{a})$，可以通过在所有操作之间进行贪婪搜索来获得最优策略${\pi }^{\ast }$，相应的$V_{{\pi }^{\ast }}(\mathbf{s})$可以定义为：
$$V_{{\pi }^{\ast }}(\mathbf{s})=\underset{\mathbf{a}}{\max }{\mathcal{Q}}_{\pi }(\mathbf{s},\mathbf{a}).\text{\hspace{1em}(42)}$$
因此，在这样的方案中学习${\mathcal{Q}}_{\pi }$是至关重要的。设$\mathcal{H}$表示${\mathcal{Q}}_{\pi }({\mathbf{s}}_{t+1},\pi ({\mathbf{s}}_{t+1}))$，${\mathcal{Q}}_{\pi }$的递归形式可以通过利用马尔可夫性质的概念和贝尔曼方程得到：
$${\mathcal{Q}}_{\pi }({\mathbf{s}}_t,{\mathbf{a}}_t)={\mathbb{E}}_{{\mathbf{s}}_{t+1}}[r_{t+1},\gamma \mathcal{H}],\text{\hspace{1em}(43)}$$
其中，$r_{t+1}$表示时间$t+1$时的即时奖励，$\gamma \in [0,1]$表示调节短期奖励和长期奖励权重的贴现因子。当$\gamma$接近0时，代理更关心短期回报；相反，当$\gamma$接近1时，代理人更关心长期报酬。
基于策略的战略。与基于价值的战略不同，基于策略的战略不依赖于价值函数，而是贪婪地在策略空间中搜索最优策略${\pi }^{\ast }$。大多数策略搜索策略围绕所有策略执行本地优化，这些策略分别由一组策略参数${\eta }_i$参数化。策略参数的更新采用基于梯度的方法，该方法遵循预期收益$E$的梯度，并具有预定义的步长$\alpha$：
$${\eta }_{i+1}={\eta }_i+\alpha {\nabla }_{\eta }E.\text{\hspace{1em}(44)}$$
有多种方法可以估计梯度${\nabla }_{\eta }E$。例如，在有限差分梯度中，梯度的估计可以通过计算$G$扰动策略参数来获得。给定$\Delta E_g\approx E({\eta }_i+\Delta {\eta }_g)-E_{ref}$，其中$g=[1,2,\cdots ,G]$表示扰动，$\Delta E_g$表示$g$对预期收益$E$的影响估计，$E_{ref}$表示参考收益（例如，未扰动参数的收益），设$L=△{{\rm Y}}^{\top }△{\rm Y}$，${\nabla }_{\eta }E$能被评估
$${\nabla }_{\eta }E\approx L^{-1}△{{\rm Y}}^{\top }△\tilde{E},\text{\hspace{1em}(45)}$$
其中$△{\rm Y}$表示包括所有扰动$\Delta {\eta }_g$样本的矩阵同时$△\tilde{E}$表示包含相应$\Delta E_g$的矩阵。
行动者批评策略。行动者批评策略旨在将策略搜索策略和学习价值功能的优点结合起来。这里，“actor”表示策略$\pi$，“critical”表示价值函数。“行动者”通过“批评”的反馈进行学习，这意味着行动者批评策略可以通过持续学习获得有效的策略，从而获得高回报。与一般的策略梯度策略不同，它利用几个蒙特卡罗回报的平均值作为基线，行动者批评者策略可以从完全回报和TD误差中学习。一旦策略梯度策略或价值函数策略取得进展，行动者批评策略也可能得到改进。行动者批评策略的详细说明如图3所示。
小数据学习也可以有效地发挥其作用，并显示出强化学习的巨大潜力。例如，小数据学习方法可以用于基于价值的策略，同时通过影响预期收益来评估所有策略，以获得最优策略${\pi }^{\ast }$。此外，在基于策略的策略中，在直接策略搜索最优策略的过程中，小数据学习方法可以有效地充当辅助作用，如干扰策略梯度的方向，从而影响策略搜索的最终决策，小数据学习方法可以帮助调整“批评家”的分数。综上所述，在各种强化学习场景中，小数据学习可能会起到重要的辅助作用，以提高模型的泛化性能和鲁棒性，这两个领域的整合仍有待深入探索。

6.4 小数据的对比学习

自监督学习因其能够避免注释大规模数据集的成本而受到关注。它主要利用上游任务从非监督数据中挖掘监督信息。利用构建的监督信息，我们可以进行模型学习，并为下游任务获得有价值的表示。与此同时，对比学习最近已成为自我监督学习中的一个重要子话题，其目的是学习一种能够将正对组合得更紧密，并在潜在的嵌入空间中将负对推到一边的表示法，以消除对比度损失。对比学习中的学习步骤如图4所示。
Wu等人认为，对比学习通常通过数据增强方法为每个数据实例生成多个视图。从同一样本生成的两个视图是正对，而从不同的数据样本生成的是负对。最终目标是最大化两个组合正对的一致性与两个独立正对的相同性，视图之间的一致性可以通过互信息（MI）估计来衡量，如下所示
$$MI(v_i,v_j)={\mathbb{E}}_{p(v_i,v_j)}[\log \frac{p(v_i,v_j)}{p(v_i)p(v_j)}],\text{\hspace{1em}(46)}$$
其中$v_i$和$v_j$表示不同的视图，$p(v_i,v_j)$表示$v_i$和$v_j$的联合分布。除此之外，$p(v_i)$和$p(v_j)$分别表示$v_i$和$v_j$的边缘分布。
尽管对比学习努力学习有价值的表征，但在不同的对比学习场景中，可能常常存在很少的有效数据，从而限制了目标的实现。小数据学习充分考虑了这些情况，致力于在小数据场景下提供高效和通用的解决方案。而且，如何寻找具有代表性的样本来生成对比对是对比学习中最重要的问题之一。此外，在对比学习中采用适当的数据增强策略以获得有效的正样本，可以大大提高模型的表示能力和泛化能力。因此，小数据学习可以被视为锚定样本选择和数据增强策略指导的新视角。此外，在[162]中，对比学习受益于严格负样本。小数据学习有助于发现真正的严格负样本，从而提高对比学习模型的性能。通过以上观点，小数据学习值得进一步探索，以促进对比学习的发展。
小数据学习可能对对比学习中的视图选择起到有效作用，即选择正对（通过数据增强方法）或负对（通过负抽样方法）。更具体地说，通过小数据学习方法选择的代表性样本可以被视为锚，因此我们可以通过各种数据增强方法获得它们的增强版本。根据该方案，锚的增强版本可以被视为正样本，其余训练数据被视为负样本。此外，对小数据的学习可能有助于提取真正的严格负样本，从而提高模型的性能，它也有助于评估和设计合理的${\mathcal{L}}_{contrastive}$，以获得稳健的对比学习模型。总之，小数据学习可以应用于整个管道的不同部分，并有助于对比学习模型获得极大的通用性和良好的性能。

6.5 小数据的图表示学习

图是描述复杂系统（如社交网络、推荐系统）的常见数据结构。在过去的几年中，由于图的强大表达能力，图表示学习逐渐吸引了机器学习社区的关注，其目的是建立能够有效学习非欧氏数据的模型。与此同时，各种各样的图神经网络应运而生，它们在结构化数据挖掘任务中显示出巨大的潜力，例如节点分类、链接预测或图分类。
然而，当这些图数据挖掘任务遇到许多无监督/有监督的场景，其中几乎没有有效的数据或标签，如何提高这些任务在图上的性能，并在这些情况下获得稳健的模型？同时，仍有许多有意义的子课题有待探索，例如关系结构发现、图神经网络的表征能力，这些都可能还需要从数据表示的角度提出有效的想法。对于上述问题，小数据学习可以提供必要和有力的支持，它可以促进图表示学习的发展，因为它具有可观的数据发现效率和强大的表示能力。
特别是，图5给出了GNN的一般设计流程。根据该设计流程的方案，GNN可分为循环图神经网络、卷积图神经网络，图自编码器和时空图神经网络。分类法的详细描述如[164]所示。
循环图神经网络（RecGNNS）。RecGNN用于学习循环神经网络的节点表示。具体来说，RecGNN在节点上利用相同的循环模型来获得高级表示。在该方案下，让$l_{vq}=x_e(v,q)$表示边连接节点$v$和节点$q$的特征，节点$v$在$t$时刻的隐藏状态由下式更新
$$h_v^{(t)}=\sum _{q\in N(v)}f(x_v,x_q,l_{vq},h_v^{(t-1)}),\text{\hspace{1em}(47)}$$
其中$N(v)$表示节点$v$的邻居集合，$x_v$和$x_q$分别表示$v$和$q$的节点特征，$f(\cdot )$表示循环函数，它必须是一个收缩映射，以便将不同的节点映射到同一个潜在空间，从而缩小嵌入节点之间的距离。以下是一系列的RecGNN，如图回波状态网络（GraphESN）、门限图神经网络（GGNN）和随机稳态嵌入（SSE）。
卷积图神经网络（ConvGNNs）。ConvGNN借鉴传统的网格数据卷积运算，通过图卷积运算和特征聚合，提取节点的高级表示。具体来说，ConvGNN方法可以分为基于谱的方法和基于空间的方法。基于谱的方法从图形信号处理的角度采用图卷积运算，基于空间的方法从信息传播的角度定义图卷积。对于基于谱的ConvGNN，让$l$表示层索引，$g_{\theta }={\Omega }_{i,j}^{(l)}$表示卷积滤波器，它是由可学习参数组成的对角矩阵，$c_{l-1}$表示输入通道数，$H^{(l-1)}$表示输入图信号，基于谱的convGNN的图卷积层定义如下：
$$H^{(l)}=\sigma (\sum _{i=1}^{c_{l-1}}U{\Omega }^{(l)}{U}^{\top }{H}^{(l-1)}),\text{\hspace{1em}(48)}$$
其中表示由特征向量组成的矩阵，可通过对归一化拉普拉斯矩阵进行分解而获得。在接下来的工作中，ChebNet使用切比雪夫多项式对滤波器$g_{\theta }$进行近似，GCN引入了ChebNet的一阶近似，这减少了计算复杂性。此后，AGCN、DGCN等各种变体扩展到GCN。
图的神经网络（NN4G）是第一个基于空间的ConvGNN，它通过邻域信息聚合来执行图卷积，并利用残差连接和跳过连接来保存每个层的信息。设$\Gamma$表示${\sum }_{i=1}^{l-1}{\sum }_{q\in N(v)}{\Omega }^{(l)}{h}_q^{(l-1)}$，NN4G的隐层状态形式化为：
$$h_v^{(l)}=f(W^{(l)}{x}_v+\Gamma ),\text{\hspace{1em}(49)}$$
其中$W^{(l)}$是由可学习参数组成的权重矩阵，${\Omega }^{(l)}$表示由滤波器参数组成的矩阵。设$\Psi ={\sum }_{i=1}^{l-1}A{\Omega }^{(l)}{H}^{(l-1)}$，等式（49）也可以利用矩阵形式给出：
$$H^{(l)}=f(W^{(l)}X+\Psi ),\text{\hspace{1em}(50)}$$
其中$A$表示图的邻接矩阵，表示节点之间的连接信息。此外，扩散卷积神经网络（DCNN）、分区图卷积（PGC）、消息传递神经网络（MPNN）、图同构网络（GIN）、图注意力网络（GAT）和各种基于空间的卷积GNN变体也应运而生。
图自编码器（GAEs）。GAE将节点或图编码到一个潜在空间，并从潜在表示中解码相应的信息。换句话说，GAE通过编码器-解码器体系结构学习嵌入，其中编码器旨在将网络嵌入到一个潜在空间，解码器从嵌入中解码图形信息。按照这种方式，出现了一系列GAE变体，如图表示的深度神经网络（DNGR）、结构深度网络嵌入（SDNE）、变分图自编码器（VGAE）、反正则变分图编码器（ARVGA）、GraphSage。以GraphSage为例，设$dec(\cdot )$是一个包含多层感知机的解码器，$z_v$和$z_q$表示图中两个节点的嵌入，$Q$是负样本的数量，$D_1=dec(z_v,z_q),D_2=-dec(z_v,z_{v_i}),$GraphSage认为，具有以下损失的负采样可以保留节点的重要信息，例如两个节点之间的关系信息，
$$L(z_v)=-\log (D_1)-Q{E}_{v_i\sim D_i(v)}\log (D_2),\text{\hspace{1em}(51)}$$
其中节点$z_{v_i}$表示从$D_i(v)$采样的$z_v$中的一个远距离节点，$D_i(v)$表示负采样分布，$L(z_v)$认为靠近的节点倾向于共享相似的表示，而远距离节点具有不同的表示。
时空图神经网络（STGNNs）。STGNN的目标是从时空图中学习隐藏模式。换句话说，STGNN同时考虑了图的空间依赖性和时间依赖性。使用[164]，它可以分为基于RNN的方法和基于CNN的方法。基于RNN的方法可以通过利用图卷积来处理输入图和提交给循环单元的隐藏状态，从而平衡空间和时间依赖性。设$G_1=Gconv(X^{(t)},A;W),G_2=Gconv(H^{(t-1)},A;U)$，一个带有图卷积的简单RNN给出如下：
$$H^{(t)}=\sigma (G_1+G_2+b),\text{\hspace{1em}(52)}$$
其中$X^{(t)}$表示时间$t$节点的特征矩阵，$Gconv(\cdot )$表示图卷积层，$b$表示偏差。图卷积循环网络（GCRN）、扩散卷积循环神经网络（DCRNN）和其他变体遵循这种方式。然而，基于RNN的方法在迭代传播阶段需要大量的计算时间。此外，基于RNN的方法存在消失/爆炸梯度问题。相比之下，基于CNN的方法以非递归方式运行，这意味着它们具有并行计算、稳定梯度和低内存需求的优点。时空图卷积网络（CGCN）、时空图卷卷积网络（ST-GCN）和一系列其他变体遵循这一范式。
对小数据的学习真的有利于图表示学习吗？答案是：完全正确。例如，在图统计特征的背景下，节点中心性度量包括度中心性、贴近中心性、特征向量中心性、中间中心性等。采用小数据学习方法探索更多的中心性度量来衡量图中节点的重要性是很有希望的。此外，对小数据的学习可能会引入一些新的想法，这些想法侧重于提取有效的数据，以便在只有少量数据的情况下进行图表示学习，例如图的自监督学习。此外，在一些图神经网络中，我们还可以引入对小数据的学习，以获得更好的邻域聚合或消息传递方案，例如定义来自邻居的消息对节点的重要性，从而提高模型在下游任务中的性能。总之，整合小数据学习和图表示学习以探索更多可能的协作场景是很有潜力的。

7. 挑战性学习场景

在本节中，我们将介绍一些具有挑战性但实用的学习环境。在小数据体制下，它们甚至变得很麻烦，然而，也出现了新的机会，这可以扩大小数据方法的应用范围。

7.1 深度学习场景

深度学习是最近的热门话题之一。它极大地推动了各种任务的最新进展。然而，深度模型由于其庞大的参数通常需要大量数据，这导致对应用程序的不友好调整。为了解决这个具有挑战性的问题，提出了许多工作来减少模型训练的数据量。因此，我们总结了一些相关技术，并用小数据为深入学习提供了可能的未来方向。
为了充分利用有限的标记示例，数据增强是在不需要额外数据的情况下提高性能的最重要的技术之一。它在不改变语义的情况下转换示例，以帮助模型学习。随着生成对抗网络（GAN）的最新进展，一些研究还建议生成更多的示例来扩充训练集。另一种方法是利用未标记的数据。可以将伪标签分配给未标记的数据，这可以通过联合训练、半监督学习来实现。或者，也可以使用无监督的表示学习方法，例如对比学习，来增强特征提取。它在未标记的数据上构造一个上游任务用于表征学习，然后适应下游任务。为了证明该技术的有效性，Chen等人报告称，他们仅使用10%的标签来微调预先训练的网络，并在ImageNet ILSVRC-2012数据集中的90个时间段内实现与所有标签从头训练的模型相当的性能。主动学习和迁移学习也广泛应用于深度模型的训练。前者有选择地查询信息数据以进行标记，而后者引入外部知识以帮助模型训练（例如，通过领域调整）。这两种方法都经过了很好的验证，可以降低训练有效深度模型的标签要求。
未来可能的发展方向可能包括可解释的深度学习方法，以便我们能够结合先前的知识来帮助学习小数据。此外，有效的小数据模型选择方法也可以通过选择合适的网络架构来提高性能。

7.2 弱监督场景

大多数机器学习研究都假设数据可以用基准标签进行精确注释。然而，在许多真实的学习场景中，由于缺乏完美的注释器，监督无法满足这一假设，这导致标签噪音大、不准确。前者包括标记错误的训练数据，后者包括多余的标签、不足的标签和粗糙的标签。在小数据体制下，这样的学习场景变得更加困难。为了帮助克服这一障碍，我们回顾了一些相关的方法，并为在这一具有挑战性的环境下研究小数据提供了可能的方向。
标签噪音大。为了解决小数据中的噪声监督问题，可能的解决方案包括噪声级控制和鲁棒学习方法。例如，前者可以通过主动学习来查询简单但信息丰富的示例，或通过高质量注释员的查询来实现，以便在有限的预算内降低噪音水平。低成本制度的另一个相关技术可能是主动标签清洗，它试图积极纠正最有价值的错误标签数据。我们注意到，仅通过有限的示例识别信息噪声数据将更具挑战性。对于后一种情况，我们进行了一些相关的探索，即噪声小样本学习，以学习小数据的鲁棒表示。例如，Gao等人提出了一种混合注意力技术来解决噪声较少的关系分类任务。他们将注意力模块应用于原型网络，以强调关键实例和特征，从而减轻噪声的影响。Liang等人提出了一种transformer结构中采用的特征聚合方法，通过重新加权图像来捕获这些噪声。实验结果表明，与目前最先进的小样本学习方法相比，他们提出的方法在噪声环境中可以取得更好的性能。
对于未来可能的发展方向，我们认为迁移学习和元学习通过引入额外的知识，可以有效地提高模型对基于小数据的噪声的鲁棒性。此外，利用未标记的数据（例如，半监督学习、对比学习）也可以为学习有限的噪声标签提供有用的信息。
标签不准确。对于小数据环境下的不精确标签，有一些先锋性的工作试图利用未标记数据来改进表征学习。例如，Xie和Huang处理了半监督的部分多标签学习，其中每个标记的数据都用所有相关标签和一些冗余标签进行注释。他们利用未标记的数据来学习低维嵌入并获得更好的性能。其他可能的技术包括图表示学习，它非常适合不精确的监督设置，因为它在标签完成方面具有巨大潜力。迁移学习也是一种常用的方法，用于补充相关完全受监督的源域中缺少的监督，例如，Cao等人提出了一种类别迁移框架，以帮助仅使用类标签注释的图像上的目标检测模型训练。它可以处理重叠和非重叠类别转移，因此具有广泛的应用。
展望未来，我们还认为，非监督学习技术，如对比学习、聚类，可能有助于对不精确的监督小数据进行模型训练。另外，主动学习和不精确的标签查询也可能是一个有前途的方向。因为在某些情况下，模型可能不需要完全监督的示例的所有信息，因此查询基本部分监督可能是一个更具成本效益的选择。

7.3 多标签场景

多标签学习研究了每个实例与多个类别关联的设置，即将数据映射到具有$C$类别的$z^C$维标签空间。准确地注释多个类别可能很困难，而且成本很高。因此，自然产生了对小数据的学习需求，以降低多标签学习的应用门槛。接下来，我们将介绍一些相关的探索以及针对这一具有挑战性的环境可能的未来方向。
有限监督下的多标签学习已被广泛研究。一些相关的方法包括半监督多标签学习、部分多标签学习、主动多标签学习、缺失标签的多标签学习和噪声标签等。最近，对小样本多标签学习的研究表明了利用过量知识在小数据上训练多标签分类器的可行性。这些技术充分利用了标签相关性和数据分布。例如，低秩正则化是一种常用的约束，用于合并类相关性的先验知识以减少训练数据。基于图的方法利用数据拓扑信息来处理缺失标签、半监督数据等问题。主动学习方法也被用来处理标记预算低的问题，其中一些方法基于不同的标准执行实例级查询并评估数据的不确定性，而另一些方法则查询实例标签对以进行细粒度监督。
未来的方向可能包括元多标签学习。因为标签相关性先验对小数据设置至关重要，这可能是由最近的趋势分析技术（即元学习）从历史学习经验中得出的。预计还将开发更有效的多标签学习主动查询方法。

8 挑战性应用

在许多实际应用中，数据收集或标注的成本非常昂贵，这导致了有限的训练数据，给模型学习带来了挑战。这种现象为小数据技术带来了机遇。本节总结了小数据的一些主要应用领域，包括计算机视觉、自然语言处理和其他主题。

8.1 计算机视觉

计算机视觉涉及图像识别、目标检测、语义分割、视频处理等，在我们的日常生活中有着广泛的应用。由于深度模型强大的特征提取能力，计算机视觉的发展水平得到了显著提升。然而，由于越来越复杂的模型，对标记数据的要求也提升到了一个新的水平，这对于某些应用程序来说可能是不可能的。例如，在大多数医学图像分析任务中，由于涉及昂贵的设备和对标注的大量专业知识要求，标记的示例非常稀少。特别是对于罕见疾病，数据和可靠的标注都是有限的。因此，有必要开发小数据技术来处理这种情况。现有的探索包括设计有效查询的主动学习算法、从相关领域迁移知识、利用未标记数据等。然而，医学图像的小数据学习仍然是一个具有挑战性的问题。遥感图像分析是另一个缺乏大量标记数据的典型任务。这不仅是因为数据的隐私，而且是因为每个图像中对象的丰富数量。一些研究试图通过提出弱监督学习方法来解决这个问题，以放松对精确标注的要求。此外，还利用了新的数据增强方法，以有限的示例帮助模型训练。主动学习也是遥感图像中的一种流行技术。不确定性和多样性是遥感数据选择的两个常用标准。
计算机视觉中的其他重要应用还可包括视频处理、3D图像分析等。

8.2 自然语言处理

自然语言处理（NLP）系统处理人类语言的语义解析、翻译、语音识别、摘要等。它是人机交互的核心技术之一。然而，需要大量标记的示例来训练领先的NLP模型，例如Transformer，这对于某些应用可能是禁止的。例如，在文本摘要任务中，其目标是提取长文档的关键词、大纲或摘要，注释者需要阅读整篇文章以提供准确的摘要。这一过程通常是费力和乏味的。因此，在许多情况下，通常无法获得大量标记数据。此外，由于高维特征和标签空间，使用小数据学习可能非常具有挑战性。为解决这个问题进行了一些探索。Karn等人提出了一种用于文本摘要的小样本学习方法，该方法利用合成数据对模型进行预训练。已经研究了数据增强以提高小样本文本摘要学习的模型性能。贝叶斯主动学习也被用来降低标记成本。预计今后将探索更有效的技术来处理这项任务。另一个重要应用是问答和对话系统。它包括语音识别、语义解析、对话生成等功能，这导致了数据标注的沉重负担。此外，由于学习任务的难度，小数据通常不能产生高性能。提出了几种主动学习方法来缓解这一问题。而迁移学习和强化学习也被用于减少对话系统中的训练数据。然而，小数据问答系统和对话系统的应用仍存在巨大的发展空间。
除上述主题外，语音转录、语音唤醒、机器翻译等也可以是小数据学习的重要应用。

8.3 推荐系统

推荐系统是我们日常生活中最重要的应用之一。它基于用户的历史行为（例如，用户项目评级、交易）向用户推荐可能感兴趣的内容，并已广泛应用于电子商务、音乐、视频共享、社交媒体平台等。推荐系统的主要问题之一是冷启动问题，即新用户的历史数据很少或没有，并且数据通常是私有的，并且获取成本很高。因此，需要为推荐系统开发小数据技术。然而，该应用中的目标通常是丰富和稀疏的，并且特征维数也很高，这使得小数据学习困难。处理该问题的一个解决方案是引入额外的知识，例如社交媒体、相关源域、链接的开放数据仓库。此外，一些研究假设从用户循环可以获得一个小问卷，以缓解冷启动问题。一种相关的方法可以是主动学习，它尝试选择最基本的用户项条目进行查询。然而，这个问题仍有待进一步探索。

8.4 时序数据

时间序列数据在我们的生活中非常常见（例如，温度记录、股市趋势、监测），它由一系列连续的数据点组成。然而，许多时间序列数据面临缺乏足够的标签、不完整的序列问题，并且每个数据的注释都很费力。现有研究采用主动学习来选择性地标记信息量最大的数据，以有限的预算改进模型；或者通过为模型训练分配伪标签来利用未标记数据，这可以通过标签传播和模型响应来实现。预计将对时间序列数据的小数据学习进行进一步研究。

8.5 生物学

近年来，机器学习被广泛应用于帮助现代生物学研究。典型应用包括自动基因组注释、蛋白质结合预测、代谢功能预测等。然而，获得生物学数据通常需要长时间培养（例如，细胞培养），或涉及昂贵的设备，这给收集大规模标记数据带来了挑战。此外，生物医学数据通常是高维和稀疏的，其中许多甚至是不完整和有偏见的。由于这些挑战，训练生物任务的有效模型可能相当困难，特别是当标记数据有限时。一些探索采用主动学习来减少标签获取；迁移学习也被用来重建不完整数据；图神经网络和矩阵分解技术应用于疾病基因关联识别任务。需要进一步研究处理小数据的更有效方法。

9. 结论

在本文中，我们首先给出了小数据学习的形式化定义，然后在PAC框架下对其误差和标签复杂度的有监督和无监督泛化分析提供了理论保证。从几何角度来看，小数据的学习可以通过欧几里得几何表示和非欧几里德几何表示来表征，其中，它们的几何平均表示是根据弗雷彻特平均值的统一表达式来表示和分析的。为了优化这些几何平均值，研究了欧几里得梯度、黎曼梯度和斯坦梯度。除了这些技术内容外，还总结了小数据学习的一些潜在未来方向，并介绍和讨论了它们的相关高级挑战性场景和应用。