【关系网络】Learning to Compare: Relation Network for Few-Shot Learning

one-shot

关系网络 (RN) 由两个模块组成：一个嵌入模块 fφ 和一个关系模块 gφ，如图 1 所示。查询集 Q 中的样本 xj 和样本集 S 中的样本 xi 送到嵌入模块 fφ ，该模块生成特征图 fφ(xi) 和 fφ(xj)。特征图 fϕ(xi) 和 fϕ(xj) 通过 C(fϕ(xi), fϕ(xj)) 进行结合。在这项工作中，假设 C(·,·) 是深度特征图的串联，尽管其他选择也是可能的。

样本和查询的组合特征图被输入到关系模块 gφ 中，最终产生一个 0 到 1 范围内的标量，表示 xi 和 xj 之间的相似性，称为关系分数。因此，在 C-way one-shot 设置中，为一个查询输入 xj 和训练样本集示例 xi 之间的关系生成 C 个关系分数 ri,j，

 K-Shot

对于 K > 1 的 K-shot，我们对每个训练类的所有样本的嵌入模块输出进行元素求和，以形成该类的特征图。这个池化的类级特征图与上面的查询图像特征图相结合。因此，在 one-shot 或few-shot 设置中，一个查询的关系分数数始终为 C。

目标函数

使用均方误差 (MSE) 损失（等式 (2)）来训练我们的模型，将关系分数 ri,j 回归到基本事实：匹配对的相似度为 1，不匹配的对的相似度为 0。

零样本学习

零样本学习类似于单样本学习，因为给定一个数据来定义要识别的每个类别。然而，它没有为每个 C 个训练类提供一个包含一次性图像的支持集，而是为每个训练类包含一个语义类嵌入向量 vc。修改我们的框架以处理零样本情况很简单：由于支持集使用了不同的语义向量模态（例如属性向量而不是图像），除了使用的嵌入模块 fϕ1 之外，我们还使用第二个异构嵌入模块 fϕ2对于图像查询集。然后像以前一样应用关系网络 gφ。因此，每个查询输入 xj 的关系分数将是：