小样本学习FSL介绍

1 概念

小样本学习(few-shot learning,FSL)旨在从有限的标记实例(通常只有几个)中学习,并对新的、未见过的实例进行识别。
相比于传统的深度学习和机器学习方法,小样本学习能够更好地模拟人类的学习方式,因为人类在学习新事物时通常只需要很少的示例即可,即从人工智能到人类智能转变。

首先,在FSL设置中,通常有三组数据集,包括支持集S、查询集Q和辅助集A。S中的实例类别已知,Q中实例类别未知但一定属于S,S和A的实例类别一定不相交,即S中的类别一定不会出现在A中。

FSL任务通常被设定为 N-way K-shot 的形式,其中N是类别的数量,K是每个类别中标记的样本数量,表示支持集 S 有N个类,每个类有K个标记样本。N通常设为5,K通常设为1或5。用符号表示

  1. 辅助集(或基类集) A = { X i , y i } i = 1 M {A}=\left\{X_{i}, y_{i}\right\}_{i=1}^{M} A={Xi,yi}i=1M ,其中图像 X i ∈ R H × W × 3 X_{i} \in \mathbb{R}^{H \times W \times 3} XiRH×W×3 , one-hot 标签向量 y i ∈ Y = { 0 , 1 } C b a s e y_i ∈ Y = \left\{0, 1\right\}^{C_{base}} yiY={0,1}Cbase
  2. 支持集 S = { S 1 , ⋅ ⋅ ⋅ , S N } = { X i , y i } i = 1 N K S = \left\{S_1, · · · , S_N\right\} = \left\{X_i , y_i\right\} ^{NK}_ {i=1} S={S1,⋅⋅⋅,SN}={Xi,yi}i=1NK , 其中 S N = { X i , y N } i = 1 K S_N = \left\{X_i , y_N\right\}^ K_{ i=1} SN={Xi,yN}i=1K 包含 K 幅图像并且是 S 中的第 N 类。
  3. 查询集 Q = { Q i , y i } i = 1 N M Q = \left\{Qi , yi\right\} ^{NM}_ {i=1} Q={Qi,yi}i=1NM,其中M通常设为15。

每个类别中如此少的标记样本几乎不可能训练出有效的分类模型,因此,FSL 的一个解决方案就是如何使用 A 来促进对目标任务(即 S 和 Q)的学习。好处是 A 通常比 S 拥有更多的类和每个类的样本,而挑战是 A 与 S 有一个不相交的标签空间,甚至可能与 S 有很大的域偏差。

通常FSL将 数据集D 分为 D t r a i n 、 D v a l 和 D t e s t D_{train}、D_{val}和D_{test} DtrainDvalDtest,分别进行训练、验证和测试。 D t r a i n D_{train} Dtrain作为辅助集A,然后分别从 D v a l 和 D t e s t D_{val}和D_{test} DvalDtest中随机抽样形成大量评估任务 T。

为了学习有效的 FSL 模型,通常在训练阶段采用 Episodic-training策略元训练范式),它依赖于 大量模拟的few-shot任务(即元任务) ,这些任务是从 辅助集A 中随机构建。一个模拟任务 T 由两个子集组成, A S 和 A Q A_S和A_Q ASAQ,分别对应于支持集S和查询集Q 。具体来说,训练时的一个epoch当中有大量episodes,每个episode对应一个元任务,通过构建的大量元任务训练模型。在FSL设置中batch_size就相当于每次将几个元任务送入模型,如果batch_size=4,表示一次将4个元任务送入模型来训练。用符号表示:

  1. 我们要从任务分布 ρ(T)中随机取样大量任务来训练模型,即 { T i = ⟨ A S i , A Q i ⟩ } i = 1 M ∈ ρ ( T ) \left\{\mathcal{T}^{i}=\left\langle\mathcal{A}_{\mathcal{S}}^{i}, \mathcal{A}_{\mathcal{Q}}^{i}\right\rangle\right\}_{i=1}^{\mathcal{M}} \in \rho(\mathcal{T}) {Ti=ASi,AQi}i=1Mρ(T)
  2. 在每次迭代(epoch)中,通过大量模拟任务(episode) T = ⟨ A S , A Q ⟩ T=\left\langle\mathcal{A}_{\mathcal{S}},\mathcal{A}_{\mathcal{Q}}\right\rangle T=AS,AQ 来训练当前模型。

此外,接下来文中出现的 f θ ( ⋅ ) 和 g ω ( ⋅ ) f_θ(·) 和 g_ω(·) fθ()gω() 分别表示嵌入主干(CNN或Transfomrer)和分类器。此外, f θ ( ⋅ ) 和 g ω ( ⋅ ) f_θ(·) 和 g_ω(·) fθ()gω() 可以集成到同一个网络中,并以端到端(end-to-end)的方式进行训练。

2 方法

小样本方法可以粗略地分为三种:基于non-episodic的方法、基于优化(或元学习)的方法、基于度量的方法。

当前的 FSL 方法主要关注如何 有效地从 A 中学习可迁移知识以快速适应(基于元学习方法和基于non-episodic的方法)或 在 S 上通过少量标记实例进行良好的泛化(基于度量学习的方法)。

2.1 基于non-episodic的方法

基于non-episodic的方法 通常遵循标准的迁移学习程序,包括两个阶段:使用基类进行 预训练 和使用新类进行 微调 ,如图所示:
小样本学习FSL介绍_第1张图片

使用基类进行预训练。 在此阶段,整个辅助集 A 用于通过使用 标准交叉熵损失 来训练一个 C b a s e C_{base} Cbase 类的分类器,如下所示
在这里插入图片描述

使用新类进行微调。 调整在测试阶段进行。具体来说,对于每个特定的新任务 T = ⟨ A S , A Q ⟩ T=\left\langle\mathcal{A}_{\mathcal{S}},\mathcal{A}_{\mathcal{Q}}\right\rangle T=AS,AQ ,每次都会基于 S 重新学习一个新的 N 类分类器。基本上,因为 S 中的标记实例有限,预训练的嵌入参数 θ 是固定的,以避免过度拟合。这个新的 N 类分类器被学习之后,就可以用来预测 Q 中实例的标签。

代表性论文: Self-Promoted Supervision for Few-Shot Transformer (ECCV 2022)
关于该论文的详细讲解,可以看这篇文章:https://blog.csdn.net/Bluebro/article/details/129990479?spm=1001.2014.3001.5501

简单来说,在元训练阶段,为全局特征嵌入提供全局监督,并进一步采用单独的特定位置监督来指导每个patch标记,用每个patch 标记的置信度分数作为伪标签进行特定位置监督。在元微调阶段,使用现有方法(例如原型网络)在 大量few-shot任务 上微调 f(此处有些不同),使在元训练阶段学习到的 表示 适应新任务,然后使用支持集 S 预测每个查询 x 的标签。
小样本学习FSL介绍_第2张图片
相比基于 纯元训练或episodic训练 的方法,基于non-episodic的方法以更简单的方法取得了非常不错的结果。但是,预训练阶段使用的交叉熵损失可能会使学习到的 表示 对基类数据 过拟合 ,从而缺乏对未见类的泛化能力。此外,基于non-episodic的方法严格遵循标准 迁移学习 的范式,并着重于利用最新和流行的深度学习技巧来改进预训练阶段,这可能在某种程度上 忽略了 FSL 的内在问题

2.2 基于优化的方法

如图所示,基于元学习的方法 在训练阶段 对从基类构建的一系列 few-shot任务 执行 元训练范式。 旨在使学习到的模型能够在测试阶段快速适应未见过的新任务。
小样本学习FSL介绍_第3张图片

元训练过程包括 基础学习器(base-learner)和元学习器(meta-learner) 之间的两步优化。具体来说,给定一个采样任务 T = ⟨ A S , A Q ⟩ T=\left\langle\mathcal{A}_{\mathcal{S}},\mathcal{A}_{\mathcal{Q}}\right\rangle T=AS,AQ
第一步(即base-learning或内循环)是使用 A S A_S AS(即每个任务中的训练实例)来学习基础学习器。
第二步(即元微调或外循环),使用 A Q A_Q AQ(即每个任务中的测试实例)来优化元学习器。通过这种方式,元学习者有望学习一种跨任务的元知识,可用于快速适应新任务。

代表性论文:Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network(PMLR 2017)
Model-Agnostic Meta-Learning (MAML) 其核心思想是通过引入 二阶梯度 来训练模型的初始参数,使该模型只需一个或一个几个梯度步骤就能够快速适应新任务。
在base-learning阶段(内循环),给定 T = ⟨ A S , A Q ⟩ T=\left\langle\mathcal{A}_{\mathcal{S}},\mathcal{A}_{\mathcal{Q}}\right\rangle T=AS,AQ,当前模型 F Θ = f θ ◦ g ω , Θ = Θ 0 F_Θ = f_θ ◦ g_ω , Θ = Θ_0 FΘ=fθgωΘ=Θ0,我们可以得到第 m 次内循环梯度更新为:
在这里插入图片描述
其中 Θ = θ , ω Θ = {θ, ω} Θ=θ,ω, α 是步长超参数, m 是内部迭代的总数。
在元微调阶段(外循环),模型的参数是使用查询集 A Q A_Q AQ 根据之前的参数 Θ Θ Θ而不是 Θ m Θ_m Θm 进行更新的:
在这里插入图片描述

早期基于元学习的方法主要采用 纯元训练范式 从头开始学习模型,现在有很多方法将预训练引入到训练过程,值得进一步研究。

2.3 基于度量的方法

如图所示,基于度量学习的方法直接比较查询图像和支持类之间的相似性(或距离),通过 episodic-training策略 的一次单向前馈。不同于基于元学习的方法的双循环结构。
小样本学习FSL介绍_第4张图片
换句话说,对于每个输入的查询图像,整个支持集 A S A_S AS 同时被编码到潜在嵌入空间中,并使用查询图像和支持集的关系(即输出)进行分类。通过对支持集进行调整,能够使模型适应每个任务的特征,并使学习到的 表示 在不同任务之间可迁移。

代表性论文1:Prototypical Networks for Few-shot Learning(NIPS2017)
Prototypical Networks(ProtoNet) 是一种典型的基于度量学习的方法,它将每个支持类的 均值向量 作为其对应的 原型表示 ,然后比较查询图像和原型的关系。
在这里插入图片描述
其中, ∣ S i ∣ |S_i| Si表示第i个支持类的实例数量, f θ ( ⋅ ) f_θ(·) fθ() 为每个图像提取d维的 全局特征表示
给定距离函数 D ( ⋅ , ⋅ ) D(·,·) D(⋅,⋅),例如欧氏距离,查询图像 Q 的预测后验概率分布为:

ρ ( y = i ∣ Q ) = exp ⁡ ( − D ( f θ ( Q ) , c i ) ) ∑ j = 1 N exp ⁡ ( − D ( f θ ( Q ) , c j ) ) . \rho(y=i \mid Q)=\frac{\exp \left(-D\left(f_\theta(Q), \boldsymbol{c}_i\right)\right)}{\sum_{j=1}^N \exp \left(-D\left(f_\theta(Q), \boldsymbol{c}_j\right)\right)} . ρ(y=iQ)=j=1Nexp(D(fθ(Q),cj))exp(D(fθ(Q),ci)).

在训练阶段,可以采用标准的交叉熵损失来训练整个模型。在测试阶段,可以使用最近邻分类器(1-NN)进行预测。

损失函数总结:

  1. 对于常见分类(基于non-episodic的预训练阶段)和基于元学习的base-learner,损失函数表示为 L ( g ω ( f θ ( X ) ) , y ) \mathcal{L}\left(g_{\omega}\left(f_{\theta}(X)\right), y\right) L(gω(fθ(X)),y)
  2. 对于基于度量的方法,损失函数表示为 L ( g ω ( f θ ( X ) ∣ S ) , y ) \mathcal{L}\left(g_{\omega}\left(f_{\theta}(X) \mid \mathcal{S}\right), y\right) L(gω(fθ(X)S),y)

代表性论文2:Revisiting Local Descriptor based Image-to-Class Measure
for Few-shot Learning(CVPR2019)
深度最近邻神经网络 (DN4) 是另一种代表性方法,它认为将局部特征池化为紧凑的全局级表示将丢失大量的判别信息。因此,DN4 提倡直接使用原始 局部特征 ,并采用基于图像到类 (image-to-class) 的局部描述符的方法来学习可迁移局部特征。

具体来说,给定输入图像 X,没有嵌入网络的最后一个池化或 FC 层, f θ ( X ) ∈ R d × h × w f_{θ}(X) \in \mathbb{R}^{d \times h \times w} fθ(X)Rd×h×w 将是一个三维张量(tensor),并且可以重塑为一组 d 维局部描述符:
在这里插入图片描述
其中 x i x_i xi 是第 i 个局部描述符, n = h × w n = h × w n=h×w 是图像 X 的局部描述符总数。
小样本学习FSL介绍_第5张图片

假设一个查询图像 Q Q Q 被表示为 f θ ( Q ) = [ x 1 , … , x n ] ∈ R d × n f_\theta(Q)=\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_n\right] \in \mathbb{R}^{d \times n} fθ(Q)=[x1,,xn]Rd×n
支持集S表示为: f θ ( S ) = f_\theta(S)= fθ(S)= [ f θ ( X 1 ) , … , f θ ( X K ) ] ∈ R d × n K \left[f_\theta\left(X_1\right), \ldots, f_\theta\left(X_K\right)\right] \in \mathbb{R}^{d \times n K} [fθ(X1),,fθ(XK)]Rd×nK
image-to-class(I2C) 方法将计算为:
D I 2 C ( Q , S ) = ∑ i = 1 n Topk ⁡ ( f θ ( Q ) ⊤ ⋅ f θ ( S ) ∥ f θ ( Q ) ∥ F ⋅ ∥ f θ ( S ) ∥ F ) , D_{\mathrm{I2C}}(Q, S)=\sum_{i=1}^n \operatorname{Topk}\left(\frac{f_\theta(Q)^{\top} \cdot f_\theta(S)}{\left\|f_\theta(Q)\right\|_F \cdot\left\|f_\theta(S)\right\|_F}\right), DI2C(Q,S)=i=1nTopk(fθ(Q)Ffθ(S)Ffθ(Q)fθ(S)),
使用余弦函数计算距离, ∥ ⋅ ∥ F \|\cdot\|_F F 表示 Frobenius 范数(各元素的平方和再开方,l2范数), Topk ⁡ ( ⋅ ) \operatorname{Topk}(\cdot) Topk() 表示在Q和S的相关矩阵的每一行中选取k个最大的元素。

代表性论文3:Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions(CVPR2020)

原型网络+Transformer

你可能感兴趣的:(研0,小样本学习,机器学习,深度学习,计算机视觉)