【CVPR2022】【小样本分类和分割】Integrative Few-Shot Learning for Classification and Segmentation

用于分类和分割的综合小样本学习

---

Abstract

本文介绍了小样本分类和分割(FS-CS)的综合任务，即when the target classes are given with a few examples，对查询图像中的目标对象进行分类和分割。该任务结合了两个传统的小样本分类和分割任务。FS-CS将它们概括为具有任意图像对的更真实的事件，其中每个目标类可能出现在查询中，也可能不存在。为了解决这一任务，我们提出了FS-CS的综合小样本学习(iFSL)框架，该框架训练学习者构建用于多标签分类和像素级分割的类级前景地图。我们还开发了一个有效的iFSL模型，注意挤压网络(ASNet)，它利用深度的语义相关性和全局的自注意来生成可靠的前景地图。

---

一、Problem formulation

Integrative few-shot classification and segmentation (FS-CS)：给定一个查询图像和一些针对目标类的支持图像，我们的目标是识别每个类的存在，并从查询中预测其前景掩模。

多标签背景感知的预测。传统的少镜头分类(FS-C)[18,69,78]公式将查询只分配给目标类中的一个类，而忽略了查询不属于任何目标类或多个目标类的可能性。FS-CS解决了这一限制，并将FS-C推广为具有背景类的多标签分类。一个多标签少镜头分类学习器fC比较查询和支持图像之间的语义相似性，并估计类的出现：，其中ˆyC是一个N维多维向量，每个条目表示相应的目标类的出现。请注意，如果没有检测到任何目标类，则查询将被分类为背景类。由于对查询的宽松约束性，即查询并不总是只属于一个类，因此FS-CS比FS-C更通用。

分类和分割的集成。FS-CS采用像素级空间推理方法，将多标签少镜头分类与语义分割相结合。传统的FS-S[48,54,65,67,80]假设查询类集与支持类集完全匹配，即C=C，FS-CS放宽了假设，这样查询类集可以是支持类集的子集，即C⊆C。在这个广义分割和分类设置中，一个整合的FS-CS学习者f估计了分类的出现和它们的语义分割映射：。这种结合和广义的公式给了两个少射击学习任务高度的自由度，这在文献中一直缺失；综合少镜头学习者可以在宽松的约束条件下同时预测多标签背景感知类的出现和分割映射。

二、Integrative Few-Shot Learning (iFSL)

为了解决FS-CS问题，我们提出了综合小样本学习(iFSL)。iFSL框架被设计来联合解决使用类标签或分割监督的少镜头分类和少镜头分割。综合的少镜头学习器f将查询图像x和支持集S作为输入，然后生成类级的前景映射作为输出。类级前景映射Y集由N个类的Y(n)∈RH×W组成：

θ is parameters to be meta-learned.
iFSL在前景映射y集合的顶部推断类的出现和分割掩码。对于类的出现，通过最大池化和阈值化来预测multi-hot vector ˆy∈RN：

对于分割，从类前景图中导出分割概率张量YS∈RH×W×(N+1)。由于背景类不是作为单独的支持，我们在给定支持的背景下估计背景地图；我们将N个类的背景地图动态组合成一个情景背景地图。具体来说，我们通过平均非前景的概率图来计算情景背景图Ybg，然后将其与类级前景图连接起来，得到一个分割概率张量YS：

通过计算每个位置的最可能的类标签，得到最终的分割掩码：

学习目标。iFSL框架允许学习者使用类标签或分段注释对其进行训练。分类损失被表示为空间平均合并类分数与其地面真实类标签之间的平均二进制交叉熵：

分割损失表示为每个单独位置的类分布与其地面真实分割注释之间的平均交叉熵：

这两种损失有相似的分类目标，但对每幅图像还是每个像素的分类却不同。因此，其中任何一种都是根据给定的培训监督水平来选择的。

三、5. Model architecture

我们提出了一个有效的iFSL模型的注意压缩网络(ASNet)。ASNet的主要构建块是注意挤压层(AS层)，这是一个高阶的自注意层，它采用一个相关张量，并返回另一个层次的相关表示。ASNet将查询和支持图像特征金字塔之间的金字塔互相关张量作为输入，即超相关[45]。金字塔相关性被输入金字塔AS层，逐渐挤压支撑图像的空间维度，金字塔输出被合并到自下而上路径[35,36,45]的最终前景图。图2说明了ASNet的整个过程。n路输出图被并行计算并收集，以在等式中准备类级前景图（1）为iFSL。
Hypercorrelation construction.

Attentive squeeze layer (AS layer).
AS层通过分散的自注意将一个相关张量转换为另一个支持维度较小的相关张量。张量被重新塑造为一个矩阵，每个元素代表一个支撑模式。给定一个相关张量C在超相关金字塔，我们开始重塑相关张量块矩阵

我们称每个元素为支持相关张量。
让我们用Cs=Cblock(xq)表示任何查询位置xq上的支持相关张量，以表示符号简洁，因为所有位置共享以下计算。自注意计算首先将一个支持相关张量Cs嵌入到目标，键，值三联体：T，K，V，使用三个大于或等于1的卷积来控制输出大小。合成的目标和关键的相关表示，T和K，然后被用来计算一个注意上下文。注意上下文计算为以下矩阵乘法：

接下来，将注意上下文通过softmax进行归一化，使关键前景位置的投票总和为一个由支持掩码注释Ys：

参与的表示被输入到MLP层Wo，并添加到输入中。在输入和输出维度不匹配的情况下，输入可以选择输入到卷积层WI。添加之后是一个激活层φ（·），包括一组归一化[87]和一个ReLU激活[47]：

然后将输出输入到另一个MLP，以结束一个AS层的单元操作：

Multi-layer fusion. 金字塔相关表示通过级联以下三个步骤的成对操作，从最粗的层次合并到最好的层次：上采样、加法和非线性变换。

Class-wise foreground map computation. k-shot输出的前景激活图被平均，以产生每个类的掩模预测。

四、实验

---