SOLOv2算法解读

论文：SOLOv2: Dynamic, Faster and Stronger

论文链接：https://arxiv.org/abs/2003.10152

代码链接：https://github.com/aim-uofa/AdelaiDet

SOLO算法解读链接：https://blog.csdn.net/qq_41994006/article/details/105170426

创新点

SOLOv2主要有两个创新点：

1、作者更进一步，引入动态机制，动态学习目标分割器的mask head。将mask分支解耦为kernal分支以及mask特征分支，学习卷积核权重。

2、作者提出Matrix NMS，减少前向推理时间。

效果：在单张V100显卡，coco数据集上Res-50-FPN SOLOv2，AP达到38.8%，耗时18FPS。

Dynamic Instance Segmentation

如图2所示，在SOLOv1中，mask分支如2（a）所示，由于参数量较多，而且预测结果存在冗余信息，因此进行解耦如图2（b）所示，但都是从预测结果层面出发。对此作者想到为什么不从卷积核角度出发，由此得到2（c），上面为mask kernal分支，下面为mask特征分支。

 对于mask kernal分支，如图2（c）所示，输入特征F为H*W*E，学习动态卷积核G为S*S*D，比如G为1*1*E*S^2或3*3*E*S^2，即为D=E或者D=9E。输入channel为E，输出channel为S^2，S^2表示共有S^2个位置，每个位置对应一个卷积核。因此最多生成S^2个mask，此时意味着，每个位置都出现了目标。作者使用不同大小及channel卷积核，实验效果如表3所示。

对于mask特征分支，可以每层FPN都做mask预测，也可以合并为一个统一的mask，经作者实验，后者效果更佳，如图3所示。将FPN的P2到P5层依次经过3×3卷积 + group norm + ReLU + 2个双线性插值，统一到原图的1/4尺寸，再做element-wise summation，经过1 × 1 convolution + group norm + ReLU得到mask的feature map F。

mask的feature map F经过学到的卷积核G（i，j），i，j表示网格中位置，得到相应位置的实例分割结果。

推理过程

先得到类别置信度，通过阈值0.1过滤掉低置信度预测结果，而后使用学习到的卷积核对mask特征进行卷积操作，经过sigmoid函数后，使用阈值0.5将预测的soft mask转变为二值图。最后一步进行Matrix NMS。

Matrix NMS

IOU计算公式如式3、衰减因子decay计算如式4所示

sj = sj * decayj，sj表示第j个目标的预测得分。

两种简单的衰减函数如式5、6所示，线性以及高斯。

 Matrix NMS计算过程如下：

1、选取按照置信度排列的top N个结果，生成N*N的IoU矩阵。对于二值图，通过矩阵运算，高效形成IoU矩阵，因为计算IOU时可直接相乘。

2、在IOU矩阵列上，找到最大的IOU。

3、计算decay。

4、通过decay更新预测得分。

代码如下：

实验结果 

实例分割结果如表1所示。

目标检测结果如表2所示。