论文阅读《RelationNet2: Deep Comparison Columns for Few-Shot Learning》

十一月啦！
时间真的很快 从周四拖延一直到现在才写完的博
希望接下来多努力一点 多加油一点
好运也多眷顾我一下！

论文名称：《RelationNet2: Deep Comparison Columns for Few-Shot Learning》
论文地址：https://arxiv.org/pdf/1811.07100v3.pdf
论文解读参考：https://blog.csdn.net/qq_36104364/article/details/109026610]
论文代码参考：https://github.com/zhangxueting/DCN
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

简单罗列几点introduction的内容
1.引入小样本学习
The ability to learn from one or few examples is an important property of human learning to function effectively in the real world
These observations have motivated a resurgence of interest in FSL (few-shot learning) for visual recognition and beyond.
2.基于度量学习的小样本方法的优势
（包括关系网络）
We build on deep metric learning methods due to their architectural simplicity and instantaneous training of new categories
Within this paradigm, the recent Relation Network achieved excellent performance by learning a non-linear comparison function
3.本文将这种思想进行扩展即，扩展了联合联合学习嵌入和非线性距离度量的想法，并提出了以下进一步的见解
首先，我们介绍在多个抽象级别上运行的多个元学习器的概念。
其次，实现对每个关系模块的更好的梯度传播，深入监督所有关系模块
最后，为了能够使用更深层的嵌入架构而不会过度拟合，我们设计了每个嵌入模块以输出特征分布，将每个图像表示为分布而不是向量
We extend this idea of jointly learning an embedding and a non-linear distance metric with the following further insights
First, we introduce the notion of multiple meta-learners operating at multiple abstraction levels.
Secondly, prior studies only use a single linear or non-linear comparison To provide the inductive bias that each layer of representation should be potentially discriminative for matching, and enable better gradient propagation to each relation module, we deeply supervise all the relation modules
Finally, to enable deeper embedding architectures to be used without overfitting, we design each embedding module to output a feature distribution, thus representing each image as a distribution rather than a vector

Related Work

1.Fast Adaptation
2.Classifier Synthesis
3.Deep Metric Learning
4.Use of Feature Hierarchies
5.Leaned Noise and Regularisation

Work

propose a new deep comparison network comprised of embedding and relation modules that learn multiple non-linear distance metrics based on different levels of features simultaneously.
Furthermore, to reduce over-fitting and enable the use of deeper embeddings, we represent images as distributions rather than vectors via learning parameterized Gaussian noise regularization
b本文提出了一个由嵌入和关系模块组成的深度比较网络，该模块可同时基于不同级别的特征学习多个非线性距离度量。此外，为了减少过度拟合并允许使用更深层的嵌入，我们通过学习参数化的高斯噪声正则化将图像表示为分布而不是矢量

Problem Definition

我们将小样本学习视为C-way K-shot分类问题。
有一些带有标记的源任务具有足够的数据，称为Dm-train，最终希望解决一组新的目标任务，称为Dm-test，对于该任务，标签空间是不相交的。
在元训练和元测试中，我们将每个任务表示为由一组训练示例的支持集和一组测试示例的查询组成。
我们想要学习一种关于元训练的模型，该模型可以在不进行微调的情况下即可泛化，以学习元测试中的新类别。

Model

本文所提出的模型结构如上图所示，从本文题目就可以看出本文是基于RelationNet进行改进的，但与RelationNet相比本文有许多新的改进。从在网络基础结构上可以看到，本文是引入了SENet网络，取代了原先Conv-4的结构。
整个模型分为Embedding and Relation两部分
接下来两部分分别介绍：
1.Embedding Subnetwork

首先我们使用7x 7卷积，然后使用3x3最大池化
特征提取网络是分成了四个EM模块，每个模块都是由SENet结构构成
最后，平均池化和完全连接层
每个模块都会输出 两个部分，分别表示特征图的均值和方差，然后通过重参数化的形式得到重构后的特征图，重参数化过程如下

其中ε 是从高斯分布中随机采样得到的，这样使得每个模块每次重构时得到的特征图都带有随机性，这就能够起到数据增强的效果
特别要注意的是，这里提到的两个部分并不是真的对特征图计算均值和方差，而是把特征图分割成两个部分，分别表示均值和方差。
得到的重构特征图一方面要进入下一个特征提取模块EM进行特征提取，另一方面要进入相关性计算模块RM来计算查询样本和支持样本的相关性

2.Relation Subnetwork
RM包含四个模块，每个模块都有2个SENet块，并带有一个池化和一个全连接层以产生关系得分，用于相似性的计算。
RM模块的输入包括查询样本和支持样本的特征图，还包括上一个RM输出的计算结果

RM模块的输出进过全局平均池化和全连接层处理得到相关性得分

Training
1.对特征提取网络的参数θ 进行训练

其中σ 表示四个EM模块输出特征图方差的均值，m表示样本的总数
2.对相关性网络参数ϕ 进行训练

Experiment

简单说一下几个实验结果
1.DCN获得了优异的性能。 具体而言，SENET在 5-way miniImageNet的准确度达到了分别为63.19%和76.58。
DCN’s learned noise regularizer helps it to exploit a powerful SENet backbone without overfitting. Direct comparison among models is complicated by the diversity of embedding networks used in different studies
2.Tab. II. It shows that our model outperforms the alternatives clearly despite DCN being trained for 5-way, and the others specifically for 20-way, indicating another important aspect of DCN’s flexibility and general applicability
我们的模型优于其他模型，这表明DCN的灵活性和通用性。
3.Ablation Study（消融实验）

深度监督：结果表明，深入的监督对于从一列关系模块中充分获得收益很重要。

模块权重：与手动调整的模块权重相比，学习每个模块的注意权重会有所帮助。更重要的是，它无需手动调整模型权重
多个非线性指标：分别显示了每个DCN关系模块输出分数
每个模块都具有竞争性，但是它们的组合显然可以带来最佳的整体性能，这支持了我们的观点，即应使用要素层次结构的多个级别来做出通用的匹配决策。
4.我们知道，RM的预测不一定会达成一致。但是要找出它们是否互补，我们在图4中绘制了RM-1与RM-4的每类准确性的散点图。我们可以看到对角线上有许多类别，表明RM-1和-4经常使他们正确。但是，在对角线下方有一些类别，表明RM-1比RM-4更经常使它们正确。

总结

本文是在RelationNet基础上进行了探索和改进，引入SENet网络结构，作为基础模块用于特征提取与相关性计算，对特征提取网络的四个阶段输出分别进行相似性度量，形成一种深度监督的形式，通过重参数化的形式对每个特征提取模块的输出进行重构，引入了随即参数实现了数据增强。

---

Ending~
十一月加油！