旋转目标检测:Exploring Complementary Strengths of Ivariant and Equivariant Representations for FSL（CVPR21）

关键词： 小样本，自监督，变换不变性，等变性*

参考博客：
https://zhuanlan.zhihu.com/p/354771341
论文原文下载：
https://arxiv.org/pdf/2103.01315v1.pdf
代码下载地址：
https://github.com/nayeemrizve/invariance-equivariance*

一、摘要：

1、小样本学习（FSL）：
(1)在有限的样本中快速适应新类别
(2)基于梯度的元学习和度量学习方法来解决

2、用简单的嵌入式网络代替现有的复杂FSL：
(1)提出了一种新的训练机制
(2)对一般的几何变换集强制等变和不变性。

二、问题阐述：

作者在实验中发现，如果让网络在基类训练时保持“变换不变性（invariant）”，比如旋转不变性，平移不变性等，网络对特征的提取、概括能力会增强，但是泛化到新类上的性能会下降；如果让网络在基类训练时保持“等变性（equivariant）”，也就是说网络知道变换后的图片和变换之前的图片之间发生的是什么变换（对不同的变换形式，比如旋转、平移等可以分类辨别），泛化到新类上的能力就会增强。

三、模型优势及创新点：

（1）联合等变性与不变性：
允许模型共同学习特征；
不仅独立于输入转换，而且特征编码几何转换；
互补特征集，有效提升模型泛化能力。
（2）合并一个新的自监督自蒸馏目标，来实现额外的改进
（3）创新点：Injecting Inductive Biases through SSL

四、具体方法：

1、基础内容：
（1）不使用episodic training（meta-training）
（2）使用基类数据简单训练基础特征提取器，CNN+分类器+CE Loss
（3）使用了L2正则项

2、旋转不变Loss:
既然网络的两种性质“invariant”和“equivariant”有各自的长处和短处，那就想办法把他们结合起来。用的是图像类别损失（最基础的损失，本质是CE Loss）+图像变换类别损失（强化“equivariant”， 本质是CE Loss）+ 对比损失（强化”invariant“， 本质是infoNCE Loss），见下图

具体来看：
（1）Enforcing Equivariance：
强化等变特征，类似于让网络知道图片发生了什么变化，作者认为这样可以到新任务上的增强泛化性能，本质为CE loss的一种改进，在我看来重点在于u向量的设计。

创建代理标签（proxy labels），使用交叉熵损失（CE loss）等边空间U，M维的一位有效编码（one-hot encoded）向量
$$u\in \{0,1{\}}^M$$

一位有效编码是一种数据预处理，使数据变稀疏，一般可用来解决分类器不好处理属性数据的问题。
（2）Enforcing Invariance：
强化不变特征，让网络将原图及其变换后的图像认定为一类。比较弱的对比损失。正样本就是原图经过变换后的图，负样本来自额外增加的负样本库。

$$M：总变化数量；m：索引序号；{\tilde{v}}^0:内存中保存的前一轮v^0的副本；当最大化{\tilde{v}}^0与v^0的相似性，有助于稳定学习$$
其中h()函数可展开具体表示为：

此处，s（.）是一个相似度函数，τ是可变参数，Dn是从一个特定的小批处理的内存库中提取的负样本集。
（3） Multi-head Distillation（多头自蒸馏）
自蒸馏，从前一个模型的输出作为下一个模型的锚点。

从常见的由“教师网络”到“学生网络”的自蒸馏，改进为“相同模型的输出的自蒸馏”，帮助模型学习更好的表示。

五、实验结果：