ICCV 2019 | 可选择性与不变性：关注边界的显著性目标检测
作者丨文永亮
学校丨哈尔滨工业大学（深圳）硕士生
研究方向丨目标检测、GAN
概要
上一次我们介绍了 CVPR 2019 的 BASNet，CVPR 2019 的那篇 BASNet 主要通过引入结构相似性损失
使网络更关注边界。这次的 ICCV 2019 有一篇“撞车”论文，可选择性与不变性之关注边界的显著性目标检测（文中称其网络为 BANet），是北航、北大和深圳鹏城实验室的文章。
其实比引入关注边界的 loss 更加暴力，它的亮点就在于直接增加一条分支网络提取预测边界，后面结合显著性目标的内部共同组成特征做监督训练。在效果方面其实两篇关注边界的都相差不大，MAE 方面似乎 BANet 要比 BASNet 低一点，但是 Fβ 的评价下，BASNet 要比 BANet 要高一点。
两个问题
▲ Fig 1. 不同区域的显著性检测需要不同的特征
SOD（Salient Object Detection）是关于人眼注意的显著性物体的任务，存在着两个问题：
一个大的显著性物体内部存在很大的外观变化导致很难当做一个完整的物体，如 Fig1 中的 (a) 和 (b)；
显著性物体的边界很混杂很难从周围背景中分辨出来，如 Fig1 的 (c) 和 (d)。
其实这就关系到了一个 Selectivity-Invariance dilemma，就是可选择性与不变性的困境，用传统的分类任务来理解，就是同一只狗在不同背景下差别很大，而在相同背景下狗和狼的差异不大，想要把前一组图片中的狗放在一个类别，就是 Selectivity-Invariance dilemma。
这时候的解决方法就是需要一组特征，能够选择性的响应图片中的重要部分，而对图片中的不重要部分的变化保持不变性。这对特征的划分要求很高，如果想让网络完全学出来响应变化可能会导致网络十分敏感，对不重要部分变化（如背景的改变）产生很大反应。
模型架构
▲ Fig 2. BANet 的网络结构
这个网络结构的特点：
前面是普通的特征提取器
后面分成三个分支：
边界定位分支
转变补偿分支
内部感知分支
本文前面的 backbone 特征提取器使用了 ResNet-50。
边界定位分支使用了多层特征
至
记为
，通过上采样和拼接融合特征
经过简单的两层卷积得到边界预测，然后使用 Sigmoid 层生成可选择性置信度图（selectivity confidence map）。文中指出使用多层次特征和简单的特征映射子网络是为了使物体边界具有强的可选择性，其损失函数定义如下：
其中损失函数 E 只是简单的交叉熵，
为 Ground truth 真实标注边界数据。
内部感知分支只使用了具有强语义的高层特征，
强调的是较大显著性物体的内部特征不变性，所以只使用了高层特征和较复杂的子网络，也使用了 Sigmoid 层导出不变性置信图（invariance confidence map），监督损失函数与
相似，如下：
其中其网络较为复杂，使用了 ISD（integrated successive dilation）模块。这个模块在后面介绍。
转变补偿分支是为了平衡内部和边界之间的可转换区域需要可选择性和不变性。
如 Fig 2 所示，⊗ 是 element-wise product，其实类似交集操作，首先
是内部图，
是边界图，二值化的图像意思是白色的像素值为 1，黑色的像素值为 0。
M 由三部分组成，加法的第一项，
就是背景图，
是两者都认为是边界的地方。
是非边界的区域，加法第二项
就是两者都认为是内部的区域。加法第三项
是表示两者都认为是背景的区域。这样的 M 就是综合了三个分支的特征以及三个分支的置信图的 map，最后只需要监督下面这个
:
最后最小化三个 Loss 的和：
ISD模块
▲ Fig 3. ISD的结构
ISD (Intergrated successive dilation)，即整合连续膨胀模块，其目的是帮助内部感知分支和转换补偿分支提取嵌入在不同上下文区域中的不变性特征。ISD 可以在一系列尺度上有效聚合上下文信息，增强特征不变性。
橙色块均为卷积层，1x1 的卷积目的是用作通道转换的，第二层的卷积带有 rate 部分是膨胀卷积（也称空洞卷积），比例从左边
到右边的
，总共 N 个分支，Fig3 所示为 ISD-5。第一个分支的特征在经过膨胀卷积之后，与原特征横向相加，然后也会送入第二分支继续做连续的膨胀。这样通过不同连续的膨胀卷积可以感知不同大小的局部上下文。
实验结果
400x300 的图片在 3.60GHz 的 CPU 和 GTX 1080ti GPU 下跑了效果为 13 fps。可能因为分支多，而且 ISD 模块是连续叠加的所以比 BASNet 要慢一倍。
▲ Fig 4. BANet与目前16种state-of-arts的方法在6种数据集上的对比
▲ Fig 5. BANet的检测质量与state-of-arts的算法比较
总结
转变补偿分支的 M 的公式是比较有技巧的一个地方，整个检测分成了三个分支，如何综合利用，在选择性与不变性中权衡动态的地方，总体来说效果不错，但是暴力地分离边界必然导致计算的复杂，也是暴力美学的一种形式，因为文章标题与 BASNet 的相似，与其对比在所难免，是结构改变还是 loss 的计算改变更优雅更接近真理，其实很难断定。
点击以下标题查看更多往期内容：
Grid R-CNN Plus：基于网格的目标检测演化
- 进击的YOLOv3，目标检测网络的巅峰之作
- CVPR 2019 | 基于池化技术的显著性目标检测
天秤座R-CNN：全面平衡的目标检测器
万字综述之生成对抗网络（GAN）
CVPR 2019 | BASNet：关注边界的显著性检测
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
投稿邮箱：
• 投稿邮箱：[email protected]
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 下载论文