深度学习之实例分割-FCIS

We present the first fully convolutional end-to-end solution for instane-aware semantic segmentation task.
It detects and segments the object instances jointly and simultanously. By the introduction of position-sensitive inside/outside score maps, the underlying convolutional representations fully shared between the two sub-tasks, as well as between all regions of interest.

模型

• 说明
  
  • FCN网络只是在最后进行上采样到原图大小，然后在对每一个像素分类
  • InstanceFCN在最终的特征提取的时候才用的是位置敏感的特征融合
  • 论文提出了一种也是基于位置敏感的特征融合
    
    • 分为inside／outside两种位置敏感的特征提取方法
    • inside提取的是关于物体的特征，进行分割
    • outside提取的是物体外的特征，然后对每一个像素取最大值，然后进行平均投票，进行类别判断
      
    • 在ROIproposal的基础上提取位置敏感的特征，然后进行分割与分类任务
  • 整体框架为：
    
    
    • 基于Faster RCNN框架进行改进
    • conv5后接利用1x1卷紧输出 2*K*K*（C+1）个score map【模型默认k=7】

效果

inference：

参数	描述
300	300个候选框from RPN
0.3	NMS阈值

train：

参数	描述
OHEM	训练方法
300	300个候选框
128	选择128个最高的loss进行反向传播

实验1：

Ablation study on Pascal VOC

• 说明：
  
  • naive MNC：MNC基础版本
    
    • 基础网络ResNet101
    • conv5作为最终的特征层
    • fc生成一个28x28的特征，然后接一个21维类别分类器
  • InstFCN+R-FCN：
    
    • InstFCN用于生成mask proposals
    • R-FCN用于分类
  • FCIS（translation invariant）
    
    • 令k=1
  • FCIS（separate score map）
    
    • inside用于分割
    • outside用于分类

实验2

对比MNC在COCO数据集效果


实验3

对比不同的基础网络


实验4

COCO效果对比

总结

本文提出了一种基于Faster RCNN框架，但使用位置敏感的特征融合方法进行特征提取，进行实例分割与分类任务。

参考文献

https://arxiv.org/abs/1611.07709