论文阅读问题总结(一)：Learning to Compare: Relation Network for Few-Shot Learning

1.本篇论文主要解决什么问题？

本篇论文主要解决小样本学习问题：尝试解决One-shot learning、Few-shot、Zero-shot的小样本学习问题。是Embedding-based小样本学习方法的一种。

2.模型的具体方法，训练过程？

与Prototypical network和Matching Network一样,模型以epicode为单位进行训练，每个episode分为Support Set和Query Set, Support Set 是一个N-way K-shot的数据集。

训练过程：

1. 从数据集中Sample出一个或(一个batch)episode，将Query Set和Support Set一起输入$f_{\phi }$,得到特征向量。
2. One-shot learning: 将每一个Query Set与Support Set的每一类在特征向量维度上进行Concatenation。将得到的N个vector输入到$g_{\varphi }$输出对应的Relation Score，使用MSE计算loss（同类样本连接后对应的标签为1，否则为零。）
3. 梯度下降更新$f_{\phi }$和$g_{\varphi }$的参数。
4. 跳转到1，重复过程知道模型收敛到一定程度。

3.本篇论文采用的方法和先前提出的Embedding-based的小样本学习方法：Prototypical Network和Matching Network的主要区别？

与Prototypical network和Matching Network仅学习一个embedding层不同Relation Network尝试学习embedding层和一个尝试正确“判别”当前待分类样本属于Support Set样本集中哪一类样本的网络层,我们可以理解为自动学习一个非线性的相似度度量。这样做可以不需要再针对特定的分类任务选取不同的相似度度量，如欧氏距离或余旋距离等。

4.论文如何解决Few-shot和Zero-shot的学习问题？

Few-shot和One-shot的训练过程一样，唯一不同的地方是在特征层面Support Set得到的特征向量同一类去和之后在进行Concatenation操作。
Zero-shot用对图片的文本类别描述信息代替Support Set中的图片数据集，单独设计一个特征提取层，用于对文本进行特征提取，其他训练过程和One-shot Learning无差别。