「Computer Vision」Note on Self-Erasing Network (SeeNet)

QQ Group: 428014259
Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/85156078

作者：Qibin Hou, Peng-Tao Jiang, Yunchao Wei, Ming-Ming Cheng
单位：Colledge of Computer Science Nankai University, UIUC

0 摘要

略

1 介绍

略

2 相关工作

略

3 自擦除网络

3.1 观察

之前的工作，暴露了一个问题：随着训练迭代的增加，对抗擦除策略（adversarial erasing strategy）趋向于挖掘不属于语义物体的更多区域，如图1所示。实际上，也是合理的，因为网络不断学习，以为需要更多context。有一些工作，利用RCNN的分类去消除这一部分多余context，比如最近的可形变卷积网络v2[2]。

图 1：对抗擦除策略

3.2 自擦除

SeeNet的overview如图3所示。上面的$S_A$网络输出初始注意力图，作者将它分成三个区域，其一为内部注意力区域，其二为外部背景区域，其三为中间potential区域，如图2©所示。外部背景区域约束注意力网络在非背景区域，避免热图往外传播。那么，外部背景区域怎么通过图像级别的标签获得呢？
背景先验 作者这里的$M_A$也称为初始注意力图，似乎是与上面的$S_A$重复了。如下面公式所示，采用双阈值方法。背景区域的像素值被标记为-1。
$$T_{A(i,j})=\{\begin{array}{ll}0& \text{if }{M}_{A(i,j)}\ge {\delta }_h\\ 1& \text{if }\text{otherwise}\\ -1& \text{if}{M}_{A(i,j)}<{\delta }_l\end{array}$$

图 2 图 3：SeeNet

有条件反转线性单元(C-ReLUs) 如下面公式所示。
$$\text{C-ReLU}(x)=\text{max}(x,0)\times B(x)$$
其中，$B(x)$为二值mask，取值非-1就是1，-1会被反转为0，1会保持。

3.3 自擦除网络

[1] Self-Erasing Network for Integral Object Attention NIPS 2018 [paper]
[2] Deformable ConvNets v2: More Deformable, Better Results 2018 [paper]