【阅读笔记】Combat data shift in few-shot learning with knowledge graph

Abstract

在元学习框架下设计了许多小样本学习方法，它从各种学习任务中学习并推广到新任务。这些元学习方法在所有样本都来自相同分布（i.i.d.观察）的情况下实现了预期的性能。然而，在现实世界的应用中，few-shot 学习范式经常受到数据偏移的影响，即不同任务中的样本，即使是同一个任务中，也可以从不同的数据分布中提取。大多数现有的小样本学习方法在设计时都没有考虑数据移位，因此在数据分布发生变化时表现出性能下降。然而，由于每个任务中标记样本的数量有限，解决小样本学习中的数据移位问题并非易事。针对这个问题，我们提出了一种新颖的基于度量的元学习框架，在知识图谱的帮助下提取任务特定的表示和任务共享的表示。因此，可以通过任务共享和任务特定表示的组合来对抗任务内/任务之间的数据转移。所提出的模型在流行的基准和两个构建的新的具有挑战性的数据集上进行了评估。评估结果证明了其卓越的性能。

---

Method

1、特定于任务的表示

受原型网络的启发，我们使用支持集通过嵌入函数 f (·) 为每个类（又名原型）计算 V 维表​​示 e ∈ RV。对于每个任务，原型 en 被定义为来自同一类 n 的支持样本的嵌入的平均向量，即：

其中 S n ∈ S 是支持集 S 的子集（具有类 n 的标签）。根据等式（1），我们可以发现  的质量很大程度上取决于特定任务的支持集 S。换句话说，同一类别的原型 e 的质量因一项任务而异，其中包含特定于任务的信息。为方便起见，我们使用  来表示由 f (·) 为类 n 提取的任务特定原型。

---

2、任务共享表示

为了解决任务内和任务间的数据转移，两个关键思想是学习稳定的任务共享表示和如上所述的桥接类别。利用知识图谱，我们可以捕获（1）稳定的类别语义信息，以及（2）连接所有类别的语义关系。即使样本来自不同的分布，它们也经常共享编码在类别词向量中的辅助知识以及类别之间的先验语义关系。因此，知识图谱可以驱动稳定的任务共享表示的学习，并弥合学习任务和测试任务中类别之间的差距。为了整合类别的词向量和知识图结构，我们采用了 GCN，这是一种最先进的属性图嵌入模型。

首先构建一个图（有 L 个节点），每个节点表示一个 J 维向量，代表一个不同的概念（类的名称）。我们的目标是转移具有足够标记样本（在 Dtrain 中）的类别中包含的知识，以学习具有少量标记样本的类别（在 Dtest 中）。利用 WordNet 中的辅助节点来构建从 Dtrain 中的类别到 Dtest 中的类别的路径。每个节点都使用类标签名称的词向量进行初始化。知识图谱（例如 WordNet）中的类之间的关系以对称邻接矩阵 A ∈ RL×L 的形式编码，包括自环。采用传播规则在图上执行卷积，即：

---

3、图原型表示

在我们提出的图原型网络 (GPN) 中，如图 2 所示，CNN f (·) 用于提取任务特定的原型，尤其是受支持集 S 的质量影响的原型。并将每个知识图节点对应的词向量作为GCN g(·)的输入，提取任务共享原型 h。任务特定原型和任务共享原型结合起来产生每个类的稳定原型，即：

其中 λ ∈ [0, 1] 是任务特定表示和任务共享表示之间的权衡参数。对于查询示例 x，GPN 基于 f(x) 与嵌入空间中原型之间的距离上的 softmax 操作预测其类标签，即：

其中 d(·,·) 表示欧几里得距离。整体损失函数定义为查询集 Q 上的交叉熵损失，即：

---

实验