文章来源：ICCV 2017
下载链接：Paper Download
解决的问题：
(1) 在时间上对Faster R-CNN进行了优化，并且提高准确度，最关键的是在像素级别进行特征点定位，并达到了将各个对象的边缘确定的效果。
(2) 能够有效地检测图像中的目标，同时还能为每个实例生成一个高质量的分割掩码。
文章内容：
Mask R-CNN是一个小巧、灵活的通用对象实例分割框架。它在Faster R-CNN基础之上进行扩展，并行地在bounding box recognition分支上添加一个用于预测目标掩模的新分支。该网络还很容易扩展到其他任务中，比如关键点检测、实例分割。该文章主要包括以下三个创新点。
(1) 解决特征图与原始图像上的RoI不对准问题。由于RoIPool方法在量化过程中引入了RoI与提取的特征不对准问题，作者提出RoIAlign层来解决这个问题，并且将提取到的特征与输入对齐。避免了对RoI的边界或者块做任何量化。
(2) 将掩模预测和分类预测拆解。该框架对每个类别独立地预测一个二值掩模，没有引入类间竞争，每个二值掩模的类别依靠网络RoI分类分支给出的分类预测结果。
(3) 掩模表示。一个掩模编码了一个输入对象的空间布局。作者使用了一个FCN来对每个RoI预测一个掩模，这保留了空间结构信息。
该结构主要包含两个分支：
(1) 第一个分支为原始Faster R-CNN的结构，它用于对候选窗口进行分类和窗口坐标回归。
(2) 第二个分支对每一个感兴趣区域预测分割掩模，它利用了一个小的全卷积网络结构。
另外，作者对ROI的损失函数进行了重新定义，公式如下所示：
对每个RoI的mask分支，其输出维度为Km*m。其中K表示对m*m的图像编码K个二分类mask，每一个mask有K个类别。所以需要应用单像素的sigmoid进行二分类，并定义Lmask为平均二分类cross-entropy loss。对于类别为k的RoI，Lmask定义在第k个掩膜（其他掩膜输出对loss没贡献）。
文章特点：
Mask R-CNN是一个小巧、灵活的通用对象实例分割框架（object instance segmentation）。它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。该框架在COCO的一些列挑战任务重都取得了最好的结果，包括实例分割（instance segmentation）、候选框目标检测（bounding-box object detection）和人关键点检测（person keypoint detection）。
(1) 由于目前已有许多设计良好，可用于Faster R-CNN的构架，因此，作为Faster R-CNN的扩展，Mask R-CNN在应用时也没有阻碍；
(2) 由于掩码层只给整个系统增加一小部分计算量，所以该方法运行起来非常高效；
(3) Mask R-CNN还可以很容易泛化到其它任务上。比如，可以在同一个框架中估计人物的动作。
存在的不足：
暂时没发现。
相关参考：Mask R-CNN个人理解、多位大神解读、《Mask R-CNN》-2017
内容说明：
上述内容仅个人的点滴粗见，如有不当之处，请同行批评指正。