[论文笔记] SparseInst 阅读笔记

Sparse Instance Activation for Real-Time Instance Segmentation（2022）

论文链接：论文链接
代码链接：代码链接

看 SparseInst 主要是因为它能够做到实时实例分割性能，对车牌脱敏可能有比较大的帮助

摘要

• 大多数实例分割方法严重依赖于目标检测并基于边界框或密集中心执行掩码预测
• SparseInst的做法：
  • 提出新的目标表示方法—— 稀疏的实例激活图（sparse instance activation map（IAM）），以突出前景目标
  • 根据突出区域 聚合特征来获得实例级特征以进行识别和分割
  • 实例激活图可以以一对一的方式预测对象，从而避免NMS

引言

• IAM对比其他目标表示法的优点：
  • IAM突出实例像素，抑制无关像素，避免了基于中心/区域的方法中不正确的实例特征定位问题
  • IAM从整个图像中聚合实例特征并提供更多上下文
  • 使用激活图计算实例特征相当简单，无需 RoI-Align 这样的额外操作。
    

方法

实例激活图（Instance Activation Maps（IAM））

• 公式。
  • 给定输入图片特征 $X\in {\mathbb{R}}^{D\times (H\times W)}$，IAM可以表示为 $A={\mathcal{F}}_{iam}(X)\in {\mathbb{R}}^{N\times (H\times W)}$，其中 $A$ 是 $N$ 个iam的稀疏集，${\mathcal{F}}_{iam}(\cdot )$ 是具有sigmoid非线性的简单网络
  • 然后可以通过 $z=\bar{A}\cdot X^T\in {\mathbb{R}}^{N\times D}$ 从输入特征图 $X$ 和实例激活图 $A$ 来获取稀疏的实例特征集，其中 $z=\{z_i{\}}^N$ 是图像中可能的 $N$ 个对象（这里的 $N$ 是自己设置的，代表每个图中可能的实例个数）的特征表示；对于每一个实例映射，$\bar{A}$ 来自把 $A$ 归一化为1
  • 稀疏实例特征 ${z_i}^N$ 直接用于后续识别和实例级分割
• IAM如何学习参数。
  • IAM 不通过显式监督（例如实例掩码）来学习，而是通过后续的识别和分割模块提供隐式监督来进行学习
  • 由于 bipartite（二分匹配，刚才得到了 ${z_i}^N$，我们需要知道这 $N$ 个预测的实例对应哪一个标注的实例，因此使用二分匹配来进行），监督是 instance-aware 的。这进一步加强了 ${\mathcal{F}}_{iam}$ 对于目标的区分，每张图上只激活一个对象

SparseInst 网络结构

实验结果