从mask rcnn到mask scoring rcnn

mrcnn  (mask rcnn)

从mask rcnn到mask scoring rcnn_第1张图片

不足:框架没有解决实例分割评分

对mask head输出的K(类别)个mask,选择哪个mask作为最终的输出,取决于分类支路置信度最高的类别。也就是用分类置信度来衡量mask质量,这会导致下图的现象:

从mask rcnn到mask scoring rcnn_第2张图片

左侧四幅图像显示出良好的检测结果,具有高分类分数但掩模质量低(即IOU低),这会导致AP下降

ms rcnn  (mask scoring rcnn)

为解决上述不足的思路:

        让分类置信度与mask质量之间能有高的相关性

解决方案:

  • 将IOU ( 文中称MaskIoU ) 与分类分数相乘,这样得到的分数对语义类别和实例掩模均很敏感
  • 在Mask R-CNN网络中加入了一个MaskIoU head,这个head将Mask Head的输出和感兴趣区域的特征作为输入,并运用一个简单的回归损失进行训练。

你可能感兴趣的:(目标识别/语义分割,人工智能,深度学习)