笔记Semi-convolutional Operators for Instance Segmentation

    本文发表于ECCV 2018。instance segmentation方法主要有两类：一是propose & verify，即先使用一object detectior找出instance可能的bbox并分类，再对这些bbox进行前后景的分割。这类方法以Mask RCNN为代表，目前占主流地位，但这类方法对拥挤、遮挡、小目标和不规则物体的分割精度有待提升。第二类方法是将instance segmentation视作对单个像素的分类问题，这里的一类指的是一个object或instance（instance coloring）。这类方法的关键在于得到数据合适的嵌入embedding或特征。本文属于第二类方法，针对卷积操作的平移不变性（translation invariant），提出半卷积操作（semi-convolutional），并对其进行一定的理论分析。同时这种semi-convolutional还可以与Mask RCNN之类的propose & verify方法结合，文中也做了实验。最后，作者在人工图像和VOC数据集上进行了实验，均取得了优于Mask RCNN的效果。（对VOC数据同时使用了VOC和COCO的评价标准，但并没有在COCO dataset上实验）

---

• Semi-convolutional半卷积

    卷积是深度学习中提取特征最常用的操作，但由于平移不变性，卷积对图像的空间位置特征并不敏感，这就导致对于同一种目标（如两个行人），卷积提取的特征可分性较差。因此，卷积运算对于语义分割来说还可以发挥不错的效果，但在实例分割中就有些不足。本文通过简单修改卷积运算，引入图片的空间特征，很好的解决了这一问题。

式（3）中等式右边第一项即为卷积特征，u是像素的空间特征，即坐标。由于平面坐标只有两维，embedding维度不固定（实验中是8维），所以u形式如下图所示

对半卷积提取的embedding的前两维可视化如图：

得到图像的embedding后再聚类，从而完成Instance Segmentation

训练使用的损失函数如下：

在VOC数据集得到的结果：

 

---

• 半卷积Mask RCNN