Rethinking the Route Towards Weakly Supervised Object Localization 论文笔记
前言
通常来说，深度学习在一些计算机视觉任务上的应用，比如分类、定位和检测，需要大量精确标注的数据，而模型在这些数据集上进行预训练之后，并不能直接应用到其它的任务中。为了减少这种限制，人们开始利用弱监督方法来进行学习，弱监督的训练数据一般只有image-level标签，没有大型数据集中的location-level（bbox和关键点）和pixel-level（每个像素都有一个类标签，用于语义分割）标签，因此很容易获得。在弱监督任务中，弱监督目标定位（WSOL）是最实际的任务，因为它只需要在给定类标签的情况下对目标定位。在WSOD中，假设图像中只有一个目标。
但是，作者通过实验发现，WSOL中的定位部分应该是类不可知的，即与类标签无关。基于此，本文将WSOL分为两个独立的子任务：类不可知目标定位与目标分类，如下图所示，称为伪监督目标定位（Pseudo Supervised Object Localization，PSOL）：
在先前的WSOL方法中，需要最终生成的特征图来产生bbox；而在PSOL方法中，首先通过DDT生成伪监督gt bbox，也就是不准确的bbox，然后在这些bbox上进行回归。PSOL去掉了WSOL中仅能有一个全连接层作为分类权重的限制，并且解决了定位与分类耦合导致的取舍问题。
本文的贡献如下：
- 证明WSOD应该被分为两部分：类不可知目标定位与目标分类，提出PSOL以解决WSOL中存在的问题；
- 虽然生成的bbox有偏差，但作者认为应该直接对它们进行优化，而不需要类标签；
- 不需要fine-tuning，PSOL方法也能在不同的数据集上拥有良好的定位迁移能力。
WSOL的缺点
目前的WSOL方法是在给定类标签的情况下生成bbox，它有以下几个缺点：
- 学习目标不明确，导致定位的性能下降。HaS和ADL表明当仅有一个CNN模型时，定位和分类不能同时进行。定位需要目标的全局特征，它是将整个目标的位置表示出来，而分类只需要目标最具有判别性的部分，也即只需要目标的局部特征。
- CAM需要存储一个三维特征图用于计算类别的heatmap，然后来通过阈值进行过滤，而这个阈值非常难确定。
受到selective search和Faster R-CNN中生成ROI这个类不可知过程的启发，本文将WSOL分为两个独立的部分，并基于此提出PSOL，PSOL直接在生成的伪gt bbox上优化定位模型，因此解决了WSOL中的缺点。
PSOL方法实现
PSOL的通用框架如以下算法所示：
1. 伪bbox的生成
WSOL和PSOL最大的不同在于为训练图像生成伪bbox。在考虑伪bbox的生成时，我们自然而然的会想到检测，因为检测模型可以直接生成bbox和类标签。但是，最大的检测数据集中只有80个类，因此不能在一些更大的数据集上（如ImageNet-1k）提供通用目标定位；而且目前的一些检测器，比如Faster R-CNN需要大量的计算资源和较大的输入图像大小，这使得检测模型不能在大规模数据集上被用于bbox的生成。
既然检测模型不行，那么我们可以试着用一下别的定位方法来为训练图像生成bbox，比如弱监督和协同训练方法：
WSOL方法
目前的WSOL方法生成bbox的流程如下：
- 首先图像 I I I被送入网络 F F F中，生成最终的特征图 G G G： G ∈ R h × w × d = F ( I ) G \in \Bbb R^{h \times w \times d}=F(I) G∈Rh×w×d=F(I)， G G G通常是最后一个卷积层生成的特征图；
- 然后 G G G在经过全局池化和最终的全连接层之后，得到标签 L p r e d L_{pred} Lpred，根据 L p r e d L_{pred} Lpred或gt标签 L g t L_{gt} Lgt，得到特定类别在最终全连接层中的权重 W ∈ R d W \in \Bbb R^d W∈Rd；
- 然后对 G G G的空间位置进行channel-wise的加权求和并得到特定类的heatmap H i , j = ∑ k = 1 d G i , j , k W k H_{i,j}= \sum^d_{k=1} G_{i,j,k}W_k Hi,j=∑k=1dGi,j,kWk；
- 最后对 H H H进行上采样到原始输入大小，使用阈值过滤并生成最终的bbox。
DDT
一些协同监督的方法也可以在定位任务上表现出良好的性能。DDT就是其中之一，它不仅性能好，而且与其他协同监督方法相比，需要的计算资源也少。DDT生成bbox的流程如下：
- 给定一个图像集 S S S，包含 n n n个图像，每个图像 I ∈ S I \in S I∈S的标签相同，或包含相同的目标。通过一个经过预训练的模型 F F F生成最终的特征图 G ∈ R h × w × d = R h w × d = F ( I ) G \in \Bbb R^{h \times w \times d}= \Bbb R^{hw \times d}=F(I) G∈Rh×w×d=Rhw×d=F(I)；
- 然后这些特征图集合到一起得到一个更大的特征集 G a l l ∈ R n × h w × d = R n h w × d G_{all} \in \Bbb R^{n \times hw \times d}= \Bbb R^{nhw \times d} Gall∈Rn×hw×d=Rnhw×d，在深度维度上使用主成分分析（PCA），得到特征值最大的特征向量 P P P；
- 然后对 G G G的空间位置进行channel-wise的加权求和并得到特定类的heatmap H i , j = ∑ k = 1 d G i , j , k P k H_{i,j}= \sum^d_{k=1} G_{i,j,k}P_k Hi,j=∑k=1dGi,j,kPk；
- 然后对 H H H进行上采样到原始输入大小，通过零阈值过滤和最大连通区域分析得到最终的bbox。
本文就是使用WSOL和DDT方法来生成伪bbox。
2. 目标定位
在生成伪bbox之后，接下来就是进行目标定位，使用bbox回归进行精调。有两种bbox回归方法：单类别回归（SCR）和每个类都回归（PCR），由于PCR非常依赖类标签，而本文强调定位是类不可知任务，因此这里采用SCR。
设bbox为 ( x , y , w , h ) (x,y,w,h) (x,y,w,h)，其中 x , y x,y x,y是bbox的左上角坐标， w w w和 h h h分别是宽和高。首先将 x , y , w , h x,y,w,h x,y,w,h转换为 x ∗ , y ∗ , w ∗ , h ∗ x^*,y^*,w^*,h^* x∗,y∗,w∗,h∗，其中 x ∗ = x w i , y ∗ = y h i , w ∗ = w w i , h ∗ = h h i x^*= \frac{x}{w_i},y^*= \frac{y}{h_i},w^*= \frac{w}{w_i},h^*= \frac{h}{h_i} x∗=wix,y∗=hiy,w∗=wiw,h∗=hih， w i w_i wi和 h i h_i hi分别是输入图像的宽和高。然后使用两个全连接层和对应的ReLU层精心回归。最终通过sigmoid得到激活输出。使用均方误差损失（ l 2 l_2 l2 loss）。
结论
本文提出了一种伪监督目标定位方法（PSOL）来解决目前的弱监督目标定位方法（WSOL）中存在的问题。该方法将定位与分类分为两个独立的网络，在训练集上通过DDT生成伪gt bbox进行训练。实验表明PSOL方法分开训练确实比联合训练要好，说明定位和分类学习到的内容是不同的，WSOL确实应该分为两个独立的模型。
作者还提出未来的工作：试着将定位与分类整合到一个CNN模型中；试着提升生成的bbox的质量；应该去探索新的网络结构或定位问题的算法。