最后采用加权求和的方式得到样本的_ECCV2020 小样本学习

本文主要总结了ECCV2020的小样本学习相关的文章。

对于小样本的思考文章

Impact of base dataset design on few-shot image classification

动机：对于小样本问题，base dataset进行训练学习到的特征提取能力对最终性能影响巨大。本文主要探讨了如何设计一个好的base dataset，以及一个好的base dataset应该具有什么相关的性质。

性质：

1. base classes与test classes的相似性？
2. base classes中的类别和每个类别图像数目的权衡？
3. 对于每个图像重新标注，对class进行重新split和group？
4. base classes中的类别的离散性和分类难度？

结论：

1. 选择与test classes相似的类别更加有效。相似性可以通过计算类原型的距离得到
2. base classes存在最优的类别数目（与数据集相关），对于miniImage最优的大约是387类和60个样本/类
3. 可以对class进行split与group到最优的类别数目
4. 太难的base class会损害最终性能。

When Does Self-supervision Improve Few-shot Learning

动机：小样本学习旨在识别未见过的类别。训练时对base classes进行分类，此时网络学到的是对base class进行分类，可能舍弃了与novel classes相关的信息。能否通过self-supervision的机制学习到与base classes分类无关的特征（数据本身的特征），并且有利于novel classes的分类。

方法：

1. 网络分为两个分类分支，一个对base classes进行分类，一个自监督loss
2. 用于自监督loss的数据集引入大量无标注的样本，作者进一步探讨了什么样的无标注样本更有效？（与base class风格一致的样本；即与novel class风格一致的样本）

问题：

1. 自监督loss更有利于样本量少，分辨率低的base dataset。也就是说，base class学习到的特征提取能力较弱时，可以用自监督loss辅助特征提取器的训练。

原型网络的改进

Negative Margin Matters: Understanding Margin in Few-shot Classifcation

动机：小样本学习中base class与novel class不一致。因此在base class上判别性强的模型不一定在novel class上表现很好。因此，小样本学习的一个重要的问题是：如何平衡模型的判别性和迁移性？

方法：

1. 基于margin的softmax loss利用一个正margin，拉大类间距离。增强特征提取器的判别性。
2. 作者发现虽然正margin会增加base classes的判别性，但是会损害novel classes的分类精度（拉大了novel classes的类内距离）。
3. 提出采用一个负的margin，从而使训练时base classes分的不是那么开。（类似于减小网络在base classes的过拟合，增强其在novel classes的泛化性）

问题：

• 为什么正的margin会损害novel classes的分类精度？

margin使每一个base class更好的聚成一类，会使novel class聚成不同的类。个人认为负的margin增大了特征的不确定性。

• 本质上可能是减小了模型在base class上的判别性。
• 方法很简单，但是我在自己的baseline上实验了一下，发现没有work，可能对超参的设置比较敏感

Attentive Prototype Few-shot Learning with Capsule Network-based Embedding

动机：针对原型网络的改进：1）CNN编码网络没有考虑图像特征间的空间关联性；2）对于5-shot的原型简单为特征的平均，容易受到噪声点的影响。（这个产生的问题可能是模型将novel class一类的图像在特征空间中映射成两个族，那么均值可能产生偏离的class prototype）

方法：

1. 将CNN替换为capsule网络，用来编码空间的位置信息
2. 将原型的图像均值中心替换为加权求和，其中加权系数为query对support image的距离比

问题：

1. 实验结果显示修改的原型可以提升大约2个点，可以在自己的框架中做简单的替换，看是否有效。

SEN: A Novel Feature Normalization Dissimilarity Measure for Prototypical Few-Shot Learning Networks

动机：对于小样本问题来说，特征归一化可以显著提升模型性能（基于余弦距离的分类器的性能显著优于softmax分类器的性能）。作者提出了一个不用显著归一化特征，并且能达到特征归一化作用的方法。

方法：

1. 将原型网络的欧氏距离替换为ds，从而约束特征的模长逼近原型的模长

问题：

1. 方法可能局限于欧式距离，因为余弦距离已经对特征进行了归一化
2. 方法可能不会优于简单的余弦分类器（特征和权重归一化）
3. 特征归一化对小样本学习的性能应该是有提升的！（正则项？）

Prototype Rectification for Few-Shot Learning

动机：原型网络的直推式应用：利用query集合修改原型（跟NIPS19的cross attention network for few-shot classification几乎相同）

方法：

1. 对query集合分配一个伪标签，然后加权求和得到更新后的原型
2. 约束query集合和support集合的分布一致。

low-shot设置相关

Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discovery

动机：小样本学习有两个常见的问题：1）特征提取容易过拟合于base class 2）偏向于预测成base classes。

方法：

1. 减弱特征的过拟合：将特征分为总特征，前景特征和背景特征
2. 减弱对base class的偏移：建立novel class和base class的依赖性；约束base样本和novel样本的预测不一致。

问题：

1. 利用三个分支提取三类图像特征，本身增加了大量的模型参数，性能的提升可能来自模型参数的增加。
2. 迁移loss：将novel 样本在base class上进行分类，这样不会更加导致novel的样本分到base class上吗？

Cross-Domain Few-shot

Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification

动机：本文解决的问题为跨模态的few-shot，即meta-train阶段有多个domain的数据集，meta-test阶段为一个全新的domain。本文的动机为选择与meta-test domain相似的train domain训练得到的特征。

方法：

1. meta-training阶段中每个domain训练一个特征提取器；
2. 对于一个指定的task，利用support set训练一个特征选择器，对各个domain的特征进行加权求和，利用原型loss进行约束。
3. 对于普通的few-shot问题，将各个层次的特征看做一个domain，对layer之间的特征进行加权求和。

问题：

1. cross-domain中的设定是meta-test阶段与meta-train阶段的domain不一致，如果在train集合中没有相似的domain，方法是否失效？