数据集标注

论文：PolygonRNN++

编译：weakish

标注图像中的物体掩码是一项非常耗时耗力的工作（人工标注一个物体平均需要20到30秒），但在众多计算机视觉应用中（例如，自动驾驶、医学影像），它又是不可或缺的。而现有的自动标注软件，大多基于像素，因此不够智能，特别是在颜色接近的相邻物体上表现不好。有鉴于此，多伦多大学的研究人员Lluís Castrejón等提出了Polygon-RNN标注系统，获CVPR 2017最佳论文提名。多伦多大学的研究人员David Acuna、Huan Ling、 Amlan Kar等又在CVPR 2018提交了PolygonRNN++，Polygon-RNN的改进版本，并于近日发布了PyTorch实现。

Polygon-RNN++架构

Polygon-RNN整体架构如下图所示：

和之前的Polygon-RNN类似，Polygon-RNN++使用了CNN（卷积神经网络）提取图像特征，然后使用RNN（循环神经网络）解码多边形顶点。为了提高RNN的预测效果，加入了注意力机制（attention），同时使用评估网络（evaluator network）从RNN提议的候选多边形中选出最佳。最后使用门控图神经网络（Gated Graph Neural Network，GGNN）上采样，以提高输出分辨率。

CNN部分，借鉴了ResNet-50的做法，减少步长（stride），引入空洞卷积（dilation），从而在不降低单个神经元感受野（receptive field）的前提下，放大输入特征映射。此外还引入了跳跃连接（skip connection），以便同时捕捉边角等低层细节和高层语义信息。剩下的配置都是比较常规的，包括3x3卷积核、组归一化（batch normalization）、ReLU、最大池化（max-pooling）等。

蓝色张量传给GNN，橙色张量传给RNN

RNN部分，使用了双层ConvLTSM（3x3核，64/16通道，每时步应用组归一化），以保留空间信息、降低参数数量。网络的输出为  元素的独热编码。前  维表示可能的顶点位置（论文的试验中  ），而最后一个维度标志多边形的终点。

为了提升RNN部分的表现，加入了注意力机制。具体来说，在时步  ，计算加权特征映射：

上式中，  为跳跃特征张量，  为隐藏状态张量，  使用一个全连接层将  映射至  。  累加输入之和，通过一个全连接层将其映射至  。◦为哈达玛积（Hadamard product）。直观地说，注意力机制使用之前的RNN隐藏状态控制图像特征映射中的特定位置，使RNN在下一时步仅仅关注相关信息。

另外，第一个顶点需要特别处理。因为，给定多边形之前的顶点和一个隐式的方向，下一个顶点的位置总是确定的，除了第一个顶点。因此，研究人员增加了一个包含两个  维网络层的分支，让第一层预测边，第二层预测顶点。测试时，第一个顶点取样自该分支的最后一层。

第一个顶点的选择很关键，特别是在有遮挡的情况下。传统的集束搜索基于对数概率，因此不适用于Polygon-RNN++（在遮挡边界上的点一般在预测时会有很高的对数概率，减少了它被集束搜索移除的机会）。因此，Polygon-RNN++使用了一个由两个  卷积层加上一个全连接层组成的评估网络：

该评估网络是单独训练的，通过训练最小化均方误差：

上式中，  为网络的预测IoU，  和  分别为预测掩码、实际掩码。

在测试时，基于评分前K的第一个顶点预测通过经典集束搜索（对数概率，束宽为B）生成多边形。对应  个第一个顶点，共有K个多边形，然后让评估网络从中选出最优多边形。在论文的试验中，  . 之所以首先使用集束搜索，而不是完全使用评估网络，是因为后者会导致推理时间过长。在  的设定下，结合集束搜索和评估网络的配置，可以达到295ms每物体的速度（Titan XP）。

与人交互时，人工纠正会传回模型，让模型重新预测多边形的剩余顶点。

如前所述，RNN输出的  维的多边形，  取28. 之所以不取更大的  ，是为了避免超出内存的限制。为了增加最终的输出分辨率，Polygon-RNN++使用了门控图神经网络进行上采样，将顶点视作图的节点，并在相邻节点中间增加节点。

GGNN定义了一个传播模型，将RNN推广至任意图，可以在每个节点上生成输出前有效地传播信息。

上式中，  为图的节点集，  为节点  的初始状态，  为节点v在时步  的隐藏状态。矩阵  决定节点如何互相传递信息，其中  表示边的类型数。在试验中使用了256维GRU，传播步数  。

节点  的输出定义为：

 和  为MLP（多层感知器），试验中的大小分别为 

如前所述，CNN部分  的特征映射（蓝色张量）传给GGNN。在图中的每个节点v周围（拉伸后），提取一个  块，得到向量  ，提供给GGNN。在传播过程之后，预测节点v的输出，即  空间网格上的位置。该网格以原位置  为参照，因此该预测任务其实是一个相对放置问题，并且可以视作分类问题，并基于交叉熵损失训练。训练的标准答案（ground truth）为RNN部分的输出，如果预测和标准答案中的节点的差异超过阈值（试验中为3格），则视为错误。

在试验中，研究人员令  （研究人员发现更大的D’不能改善结果）。

基于强化学习训练

Polygon-RNN基于交叉熵训练。然而，基于交叉熵训练有两大局限：

1. MLE过度惩罚了模型。比如，预测的顶点虽然不是实际多边形的顶点，但在实际多边形的边上。
2. 优化的测度和最终评估测度（例如IoU）大不一样。

另外，训练过程中传入下一时步的是实际多边形而不是模型预测，这可能引入偏差，导致训练和测试的不匹配。

为了缓解这些问题，Polygon-RNN++只在初始阶段使用MLE训练，之后通过强化学习训练。因为使用强化学习，IoU不可微不再是问题了。

在强化学习的语境下，Polygon-RNN++的RNN解码器可以视作序列决策智能体。CNN和RNN架构的参数  定义了选择下一个顶点  的策略  。在序列结束后，我们得到奖励  。因此，最大化奖励的损失函数为：

相应地，损失函数的梯度为：

实践中常采用蒙特卡洛采样计算期望梯度。但是这一方法方差很大，而且在未经恰当地基于情境归一化的情况下非常不稳定。因此，Polygon-RNN++采用了自我批判（self-critical）方法，使用模型的测试阶段推理奖励作为基线：

另外，为了控制模型探索的随机性，Polygon-RNN++还在策略softmax中引入了温度参数  。试验中，  .

试验结果

下图展示了Polygon-RNN++在Cityscapes数据集上的结果。Cityscapes包含2975/500/1525张训练/验证/测试图像，共计8个语义分类。

可以看到，在各个分类上，Polygon-RNN++都超越了其他模型，并且高于其中表现最好的模型差不多10%的IoU。事实上，在汽车（cars）分类上，Polygon-RNN++（79.08）战胜了人类（78.60）。而消融测试的结果也令人满意。

另外，Polygon-RNN++对噪声的鲁棒性良好：

Polygon-RNN++在跨领域的数据集上表现同样出色，这说明Polygon-RNN++的概括性很好。

代码

Polygon-RNN++作者刚刚（2018年8月14日）发布了PyTorch实现（未开源），填写以下表格申请可以试用：

https://goo.gl/forms/aWEHgFTyWfeA5oUt1

推理部分的代码（不包括训练和交互工具）是开源的：

https://github.com/fidler-lab/polyrnn-pp