【实例分割】YOLACT++：Better Real-time Instance Segmentation论文详解

论文下载：paper

YOLACT论文详解：YOLACT

---

目录

1.可变形卷积

2.快速的mask重新计算网络结构

3.优化预测头

4.结果对比

整理不易，欢迎一键三连！！！

送你们一条美丽的--分割线--

---

首先来看下YOLACT++区别于YOLACT的地方是什么？

1. 在backbonde网络中加入可变形卷积（deformable convolutions）；

2. 使用更好的anchor尺度和比例对prediction head进行优化；

3. 加入新的mask re-scoring支路。

看下原版的YOLACT的网络结构

 

1.可变形卷积

        通过给骨干网络加入可变形卷积，具体实现方式是在resnet的C3-C5过程中，将原始3*3卷积替换成3*3可变形卷积。结果导致mAP提高了1.8，速度慢了8ms。作者认为性能提升的原因有以下几点：

• 通过和目标实例进行对准，使得网络可以处理不同尺度、旋转角度和比例的实例；

• YOLACT本身没有再采样策略，因而一个更好、更灵活的采样策略更重要。

同时作者发现，在引入可变形卷积时需要选择合适的插入位置才能取得性能的提升。

 

2.快速的mask重新计算网络结构

        受到 Mask Scoring R-CNN 的启发，发现模型的分类置信度和预测掩模质量存在差异（即更高质量的掩模分割不一定具有更高的类别置信度）。 因此，为了更好地关联掩模质量的班级信心，掩模评分 R-CNN像Mask R-CNN 添加了一个新模块，用于学习回归预测掩模与其掩模与真实值的IoU。

        根据掩模 IoU 重新计算预测掩模具体来说，我们的快速掩模重新评分网络是每个卷积层具有 ReLU 非线性的 6 层 FCN，以及最终的全局池化层。 它以 YOLACT 的裁剪掩膜作为输入预测（阈值化之前）并输出每个对象类别的掩模 IoU。我们通过分类头预测的类别的预测掩码 IoU 与相应的分类置信度之间的乘积来重新评分每个掩码。

3.优化预测头

 YOLACT是基于anchor-base检测器的，因此选择正确的anchor超参数是很重要的，作者尝试了两种策略：

1. 保持anchor尺度不变，增加比例数量：[1,1/2,2]到[1,1/2,2,1/3,3]
2. 保持比例不变，将每个FPN等级的尺度数量增加3倍

以上两种方法均可以增加anchor数量。

4.结果对比

整理不易，欢迎一键三连！！！

送你们一条美丽的--分割线--

⛵⛵⭐⭐