[深度学习论文笔记][CVPR 17 Best Paper Honorable Mention] Annotating Object Instances with a Polygon-RNN

[CVPR 17 Best Paper Honorable Mention Awards] Annotating Object Instances with a Polygon-RNN

Lluıs Castrejon, Kaustav Kundu, Raquel Urtasun and Sanja Fidler

from

University of Toronto

paper link

Motivation

这篇文章的目的是提供一个针对分割数据库的自动标注工具。目前大型的分割数据库的标注是由标注员点击鼠标,使用一个多边形将物体围起来实现的。这篇文章提出的模型(Polygon-RNN)以物体的包络框(类似于检测任务的ground truth)切割下来的子图作为输入,输出一系列坐标点,形成分割的多边形标注。其功能示意如下图所示:

image

该文章的来源应该是作者之一Lluıs Castrejon的课程报告 (link)。在这份报告中,作者使用类似的模型直接应用于图像分割任务。

Model Framework & Method

Polygon-RNN的框架如下图所示:

image

整个框架由两部分组成:
1. 使用CNN提取图像特征;
2. 使用一个LSTM模型输出不定长的多边形坐标序列。

在第一部分中,作者使用预训练后的VGG-16模型作为主干,将不同尺度下的特征连接在一起进行融合,从而提取出语义与空间结构信息并存的图像特征。

在第二部分中,作者在LSTM中使用的是卷积操作而不是传统的全连接操作。因此LSTM的输出与其输入有同样的尺寸。这一部分在每个序列元素上的输出是一个二维的结果,上面的每一个数值代表当前点是当前坐标点的概率。另外每次输出还有一个单独的数值,代表当前坐标点是多边形边缘终点的概率。

第二部分的LSTM模块不仅以CNN的特征作为输入,同时也输入上一个、上上一个坐标点和第一个坐标点的结果。这就保证了坐标点的输出顺序是固定的(顺时针或者逆时针依次输出各个坐标)。对于第一个坐标点的预测,作者进行了特殊处理。作者使用同样的CNN部分结构,在此之上添加了两条支路。一条支路进行训练用来检测物体的边缘,得到二维的结果。另一条支路以CNN的特征和预测到的边缘作为输入,得到第一个坐标点的位置。

在使用gtx titan-x的情况下,模型的训练大概需要一天,每个物体的预测需要250ms左右。

User Interaction

作为自动标注工具,作者提供了用户交互的功能。即用户可以及时纠正模型每一步的输出结果,从而避免之后的预测结果出现较大错误。如果没有人工辅助,Polygon-RNN也可以作位一个弱监督分割模型存在。

Experiments

作为弱监督分割模型,作者在Cityscape数据库上与其它object proposal方法进行了对比:
[深度学习论文笔记][CVPR 17 Best Paper Honorable Mention] Annotating Object Instances with a Polygon-RNN_第1张图片

作为标注工具,作者对比了传统流程下人工标注的工作量和效果,以及使用Polygon-RNN之后的工作效率。T代表当模型输出结果偏离ground truth的距离为T时,则需要一次人为的点击纠正:

[深度学习论文笔记][CVPR 17 Best Paper Honorable Mention] Annotating Object Instances with a Polygon-RNN_第2张图片

一些定性的预测结果如下图所示:

[深度学习论文笔记][CVPR 17 Best Paper Honorable Mention] Annotating Object Instances with a Polygon-RNN_第3张图片

你可能感兴趣的:(深度学习论文笔记)