小样本语义分割—CANet: Class-Agnostic Segmentation Networks with Iterative Refinement andAttentive Few-Shot

一，Dense Comparison Module（DCM密集比较模块）

该模块由两个子模块组成：①特征提取器②特征密集比较模块

1.特征提取器

       使用在Imagenet上进行了预训练的ResNet-50作为特征提取器的主干。因为较低层中的特征通常与低级线索（例如，边缘和颜色）相关，而较高层中的特性与对象级别概念（例如，对象类别）相关。ResNet中的层基于空间分辨率分为4个Block，自然对应于4个不同的表示级别。我们选择Block2和Block3生成的特征进行特征比较，并放弃Block3之后的层。我们在Block2之后的层中使用膨胀卷积来保持特征图的空间分辨率。Block2之后的所有特征图的固定大小为输入图像的1/8。Block2和Block3之后的特征通过3×3卷积连接并编码为256维。我们在5.1.3节中研究了用于比较的特征的选择。支持分支和查询分支都使用相同的特征提取器。我们在训练期间保持ResNet中的权重不变。

2.特征密集比较模块

       由于支持图像中可能存在多个对象类别和杂乱的背景，我们希望获取仅对应于目标类别的嵌入以进行比较。这里，我们使用前景区域上的全局平均池来将特征映射压缩为特征向量。全局图像特征在分割任务中是有用的，这可以通过全局平均池轻松实现。在我们的网络中，我们只对前景区域的特征进行平均，以过滤掉不相关的区域。从支持集获得全局特征向量后，我们将向量与查询分支生成的特征图中的所有空间位置连接起来。此操作旨在将查询分支中的所有空间位置与支持分支中的全局特征向量进行比较。然后，连接的特征图经过另一个卷积块，该块具有256个3×3卷积滤波器用于比较

       为了高效实现，我们首先将二进制支持掩码降采样到特征图的相同空间大小，然后对特征图应用逐元素乘法。结果，属于背景区域的特征变为零。然后我们采用全局和的池化，将得到的向量除以前景区域，得到平均特征向量。我们将向量上采样到相同的空间大小的查询特征，并将它们连接起来进行密集比较。

二、Iterative Optimization Module（IOM迭代优化模块）

在训练时，为了避免迭代优化模块过度拟合预测掩码，我们交替地使用上一个epoch中的预测掩码和空掩码作为IOM的输入。预测掩码重置为空掩码的概率为pr。

细节问题；

• Attention Mechanism for k-shot Segmentation（ 支持集为k-shot时使用注意力机制）

      我们在DCM中添加了一个与密集比较卷积并行的关注模块（见图3）。注意力分支由两个卷积块组成。第一个为256通道3×3卷积，然后是3×3最大池化。第二个是1通道3×3卷积，然后是全局平均池化。注意力分支的结果作为权重λ。然后，通过softmax函数对来自所有支持示例的权重进行归一化。

      最终输出是由不同支持样本生成的特征的加权和。