MultiNet Real-time Joint Semantic Reasoning for Autonomous Driving论文笔记

摘要：

虽然大多数语义推理方法都侧重于提高性能，但在本文中，认为计算时间对于实现自动驾驶等实时应用非常重要。 为实现这一目标，作者提出了一种通过统一架构进行联合分类，检测和语义分割的方法，其中编码器在三个任务之间共享。 我们的方法非常简单，可以在具有挑战性的KITTI数据集中端到端地进行训练并表现得非常好，超越了道路分割任务中的最新技术水平。 提出的方法也非常有效，允许以超过每秒23帧的速度进行推理。代码：https：//github.com/MarvinTeichmann/MultiNet

个人理解：

这篇论文属于多任务学习模型，即同时进行分类，检测和语义分割任务，正如其摘要说得，性能固然重要，但是时间也不容忽视，这篇论文的核心卖点在于节省了时间，之所以节省了时间，主要是共享了编码网络，可以让三个子任务并行推理，大大减少推理时间。

网络结构如下：

编码网络

主要用来处理图像，提取丰富的抽象特征用于做图像分割，目标检测和图像分类任务。主要由卷基层和池化层组成。权重的初始化使用的是在imageNet上训练过的分类器权重。第一个使用的是VGG，去掉后面的全连接层，留下pool5作为输出；另一个也是VGG16，去掉最后的softmax层，全连接层使用1x1的卷积替代，这样可以不固定输入图像的尺寸。还有就是ResNet-50和ResNet-101,只是去掉了最后面的全连接层和softmax层。

解码网络，分为三个，分别是分类解码器，检测解码器和分割解码器

分类解码器：论文说用了两个分类解码器，一个是原始的VGG或者ResNet网络，带有全连接层或者softmax层，但是这两个网络并没有被使用，因为要求输入的尺寸太大了，而且参数量太大（有全连接层的缘故）；第二类是用编码网络产生的高分辨率特征图作为输入的解码器。输入39x12x512的特征图，因为特征图比原图小了32倍，所以每个像素对应原图32x32的区域。用3x3的卷积和1x1的卷积生成37x12x30的特征图，然后经过全连接层和softmax生成1x2的预测结果。

检测解码器：采用的是不需要候选区域的检测方法，这样更快，但是基于候选区域的检测方法的候选区域物体的尺度比较多，能较好的适应多尺度问题。为了结合基于候选区域检测和非候选区域检测的优势，论文在roi align层中加入了多尺度变化，使得检测器能适应多尺度问题。处理过程是这样的，首先输入编码器的输出特征，经过1x1卷积，输出500个特征图，产生的特征图是39x12x500，再通过1x1的卷积，输出6个特征图，前两个特征图表示该特征图的像素对应的原图区域是否包含了待检测目标，后面四个特征图分别表示该目标的四个预测坐标。在这个预测结果上应用尺度不变性，一种缩放思路，类似于mask r-cnn中的roi校准。然后这个方法是使用每个cell的预测来生成roi校准，这个就省略了第一次量化，直接在池化层进行校准，论文说这样做可以端到端训练，更快。校正后的特征和初步预测的结果拼接起来，用来产生更精确的预测结果。第二个预测主要是学习偏移量量，添加到初步预测中。

分割解码器：采用的是FCN架构，从编码网络输出处获得了特征图，使用1x1卷积处理该特征图获得了39x12的分割特征图大小，再对这些特征图进行三次反卷积上采样，同时采用跳跃连接从低层提取高分辨率图像，这些高分辨率图像首先要经过1x1卷基层处理，再添加到局部上采样结果中。

损失函数

分类和分割任务采用的是softmax交叉熵损失函数，检测任务采用的偏移量，具体如下：

最后将三个损失函数加起来得到总的损失函数，就可以做到端到端训练了。

实验部分

采用的是KITTI数据集，其中检测和分割采用的是该数据集上的标注，分类标注是自己标注的，检测指标采用的是平均准确分数，分割采用的评价指标是MaxF1分数，分类的评价指标是平均准确率，准确率和召回率。论文首先进行单任务训练和基准线比较，然后进行多任务训练进行比较。