语义分割论文:FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation(arxiv2019)

FastFCN:
FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation (arxiv2019)
https://arxiv.org/pdf/1903.11816.pdf
[PyTorch]: https://github.com/wuhuikai/FastFCN

本文提出了一种计算效率高的联合上采样模块 JPU(Joint Pyramid Upsampling),以替代主干网络中耗时又耗内存时间和内存的扩张卷积(dilated convolutions)。

特点:

  1. 本文将Dilated Convolution和Stride Convolution分别分解为(a) split-conv-merge (b) conv-reduce 子步骤,见图 3 。
    语义分割论文:FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation(arxiv2019)_第1张图片
  2. 基于 1),作者设计了一种上采样模块JPU,
    语义分割论文:FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation(arxiv2019)_第2张图片

其中,
a) 将来自Conv3、Conv4和Conv5的卷积降维输出;
b) 将(a)中生成的feature map上采样后concatenate,接着使用四个膨胀率(dilation rates)分别为1、2、4和8的空洞卷积分别提取特征并concatenate;
c) 将(b)提出的特征映射到最后的预测层。

  1. 作者提出的框架概览,见图 2。该方法采用了原版 FCN 作为主干网络。在主干之后,研究人员提出了新型上采样模块 JPU,该采样模块将最后三个特征图作为输入并生成了高分辨率特征图。然后使用多尺度/全局上下文模块来生成最终标签图。
    语义分割论文:FastFCN:Rethinking Dilated Convolution in the Backbone for Semantic Segmentation(arxiv2019)_第3张图片
  2. 速度是EncNet 的3倍,接近FPN,性能提升不是很明显。

你可能感兴趣的:(Paper,Reading,Semantic,Segmentation,语义分割学习笔记)