极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response

极简笔记 Weakly Supervised Instance Segmentation using Class Peak Response

本文是一篇弱监督的工作，利用分类网络做实例分割任务。主要思路是利用网络输出的响应图，取局部极大值之后反向计算（这个过程中分辨率也在变大），得到与这个局部极大值相关的区域信息，再结合类别信息等，从利用传统算法求出的segmentation mask里面进行打分排序，得到分割结果。

网络训练只用到了分类信息。在正向传播时候每一个conv层输入记作 U U ，输出记作 V V ，坐标(i,j)下的值就记作 Vij V i j 。定义反传公式：

P(Uij)=∑p=i−kH2i+kH2∑q=j−kW2j+kW2P(Uij|Vpq)×P(Vpq) P ( U i j ) = ∑ p = i − k H 2 i + k H 2 ∑ q = j − k W 2 j + k W 2 P ( U i j | V p q ) × P ( V p q )

P(Uij|Vpq)=Zpq×U^ijW+(i−p)(j−q) P ( U i j | V p q ) = Z p q × U ^ i j W ( i − p ) ( j − q ) +

其中 U^ij U ^ i j 是反向激活函数， W+=RELU(W) W + = R E L U ( W ) ， Z Z 是归一化因子使得 ∑p,qP(Uij|Vpq)=1 ∑ p , q P ( U i j | V p q ) = 1

记反传得到的响应图为peak response map（PRM），记作 R R ，用它在传统算法生成的mask proposal里面去打分并选取最高得分作为结果。打分公式如下：

Score=α∗R∗Sinstance-aware+R∗S^boundary-aware−β∗Q∗Sclass−aware S c o r e = α ∗ R ∗ S ⏟ instance-aware + R ∗ S ^ ⏟ boundary-aware − β ∗ Q ∗ S ⏟ c l a s s − a w a r e

其中 S S 表示mask proposal， S^ S ^ 表示形态学计算的 S S 的梯度， Q Q 表示分类响应图上背景的响应。

伪代码见下图：

在类别数逐渐增多的情况下，该方法性能会逐步下降。文章和一堆弱监督方法进行了对比实验，取得了最好的效果。