论文阅读问题总结(一):Learning to Compare: Relation Network for Few-Shot Learning

1.本篇论文主要解决什么问题?

本篇论文主要解决小样本学习问题:尝试解决One-shot learning、Few-shot、Zero-shot的小样本学习问题。是Embedding-based小样本学习方法的一种。

2.模型的具体方法,训练过程?

与Prototypical network和Matching Network一样,模型以epicode为单位进行训练,每个episode分为Support Set和Query Set, Support Set 是一个N-way K-shot的数据集。
论文阅读问题总结(一):Learning to Compare: Relation Network for Few-Shot Learning_第1张图片

训练过程:

  1. 从数据集中Sample出一个或(一个batch)episode,将Query Set和Support Set一起输入 f φ f_\varphi fφ,得到特征向量。
  2. One-shot learning: 将每一个Query Set与Support Set的每一类在特征向量维度上进行Concatenation。将得到的N个vector输入到 g ϕ g_\phi gϕ输出对应的Relation Score,使用MSE计算loss(同类样本连接后对应的标签为1,否则为零。)
  3. 梯度下降更新 f φ f_\varphi fφ g ϕ g_\phi gϕ的参数。
  4. 跳转到1,重复过程知道模型收敛到一定程度。

3.本篇论文采用的方法和先前提出的Embedding-based的小样本学习方法:Prototypical Network和Matching Network的主要区别?

与Prototypical network和Matching Network仅学习一个embedding层不同Relation Network尝试学习embedding层和一个尝试正确“判别”当前待分类样本属于Support Set样本集中哪一类样本的网络层,我们可以理解为自动学习一个非线性的相似度度量。这样做可以不需要再针对特定的分类任务选取不同的相似度度量,如欧氏距离或余旋距离等。

4.论文如何解决Few-shot和Zero-shot的学习问题?

Few-shot和One-shot的训练过程一样,唯一不同的地方是在特征层面Support Set得到的特征向量同一类去和之后在进行Concatenation操作。
Zero-shot用对图片的文本类别描述信息代替Support Set中的图片数据集,单独设计一个特征提取层,用于对文本进行特征提取,其他训练过程和One-shot Learning无差别。

你可能感兴趣的:(科研论文,机器学习,深度学习,人工智能)