语义分割总结
目前看过的论文有FCN，U-net，还有几个经典网络没有看，看论文速度有待提高，赶紧还债，下面是我对几个语义分割网络的简单理解，后期会补充。另，建议关注一个类似知乎的国外精英网站：Qure）
参考来源 ：A 2017 Guide to Semantic Segmentation with Deep Learning
在FCN网络在2104年提出后，越来越多的关于图像分割的深度学习网络被提出，相比传统方法，这些网络效果更好，运算速度更快，已经能成熟的运用在自然图像上。
大致分为三部分：介绍语义分割问题，回顾语义分割方法，介绍一个有趣的网络算法。
1 什么是语义分割？
语义分割是在像素级别的水平上理解图像，为每个像素标记一个特定类别，比如下面一张图像
除了识别摩托车和骑手，我们还要划定目标边界，因此不同于分类问题，我们需要像素密度预测。
两个比较常用的语义分割数据集为：VCO2012 和 MSCOCO
在使用深度网络之前传统的算法有TextonForest 和 Random Forest based classifiers。和分类问题一样，CNN在图像分割方面也获得了巨大成功。
其中最开始的一个算法是基于图像块的分类（patch classification(http://people.idsia.ch/~juergen/nips2012.pdf)） ，每个像素根据它所在的像素块被分类。使用像素块原因是分类网络通畅以整幅图像作为输入，所以我们以图像块代表一个像素进而得到像素类别。
在2014年，Long等人提出全卷积网络（FCN），FCN是一个著名的CNN结构的像素密度预测网络，该网络的特点是没有全连接层，而是直接输出分割结果，这可以使网络输出任意大小的分割图，几乎所有以后算法都采用了这种范式。
除了全连接网络，CNN的另一个问题是池化层。池化层增加了视野，能够在忽略“where”信息的情况下聚合上下文。然而，语义分割要求分类图精确校正，因此需要保存“where”信息。在论文中提出了两种不同的分类架构。
第一种就是编码-解码结构。编码过程会通过池化操作逐渐降低空间尺度，而解码过程则会逐渐恢复目标细节和空间。在编码解码之间通常会有快捷连接来增加细节，比如融合，来使网络恢复目标更加完善。U-net网络如下所示： 
第二类网络使用dilated/atrous卷积，并且去掉了池化层。
条件随机场（CRF）后处理能够提高分割效果。CRF是基于底层图像强度平滑“平滑”分割的图形模型。他们的工作原理为：强度类似的像素往往被标记为同一类。CRF能够提高1-2%的成绩。 
CRF illustration. (b) Unary classifiers is the segmentation input to the CRF. (c, d, e) are variants of CRF with (e) being the widely used one. source
第三部分介绍以下
1 FCN
2 SegNet
3 Dilated Convolutions
4 Deeplab(v1&v2)
5 RefineNet
6 PSPNet
7 Large Kerel Matters
8 Deeplab v3
FCN
全卷积网络对于图像分割
14 Nov 2014
主要贡献：
1 提出了使用端到端的卷积网络来进行语义分割
2 直接使用预训练好的分类网络进行图像分割（迁移学习）
3 使用反卷积层进行上采样
4 介绍跳过连接提高上采样的粗糙度
详细解释：
关键是在分类网络中全连接层可以看做是覆盖整个输入区域的
内核的卷积。这相当于对原始分类网络的评估，在重叠的输入上面，但是由于计算在重叠区域是共享的，所以计算效率更高。虽然这种独到的见解不是第一次提出，但它却是提高了VOC2012测试效果。
Fully connected layers as a convolution.Source.
在经过一个全卷积的预训练的网络之后，比如说VGG。由于池化操作降低了图像空间维度，特征map仍然需要需要被上采样。与简单的双线性插值不同，反卷积层可以学习插值。该层野叫上卷积（upconvolution），全卷积（full convolution），转置卷积（transpose convolution）或者分数化卷积（fractionally-strided convolution）
然而，上采样（即使反卷积层）产生粗糙的分割图，是因为在池化过程中信息的丢失。因此，快捷连接/跳转连接能够产生分别率更高的特征对应图。
评价：
这是分割图像中一个重要的贡献，当年引用率第一。
2 SegNet
SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
Submitted on 2 Nov 2015
Arxiv Link
主要贡献：
最大池化转到解码提高分割精度
详细介绍
尽管FCN网络的上卷积层和一个跳转连接能够生成粗糙的分割图。因此，更多的跳转连接被引进。然而，不是简单的复制FCN的编码特征，同时也保留最大池化时最大值位置。这使得SegNet需要更多内存但也比FCN更加有效。
Segnet Architecture. Source.
评价：
1 FCN和SegNet都是第一次提出编码解码的结构
2 SegNet基准不够好
3 扩张卷积
Multi-Scale Context Aggregation by Dilated Convolutions
Submitted on 23 Nov 2015
Arxiv Link
主要贡献：
1 使用扩张卷积，一个卷基层用于密度估计
2 提出“上下文模块”采用扩张卷积在多尺度聚合
详细介绍
池化能帮助网络分类网络提高接受野。但是由于池化降低了分辨率，所以池化在分割方面很不好。因此，作者使用扩张卷积。如下图所示： 
Dilated/Atrous Convolutions. Source
扩张卷积层（Atrous Convolutions）在不降低视觉空间的前提下增加视野维度。
在预训练网络VGG中，最后两个池化层被移除，接下来卷基层由扩张卷积替换。
特别的，在pool-3和pool-4之间的卷积层是dilation-2，pool-4之后是dilation 4。使用这个（论文中叫前端模块），在不增加参数的情况下提高了
一个模块（称为文章上下文模块）进行训练，分别与前端模块的输出作为输入。这个模块是一个级联的卷积，扩张扩张不同的多尺度上下文聚合和预测从前端的改进。
一个模块（在论文中称上下文模块）单独进行训练，与前端模块的输出作为输入。这个模块是级联的扩张卷积，拥有不同的扩张尺度，因此多尺度语境信息能被聚合，从前端的预测就被改进。
评价：
需要注意的是，分割结果的尺寸是图像尺寸的1/8。几乎所有的方法都是这样的，对它们进行插值得到最终的分割图。
（4） DeepLab（v1 & v2）
v1 : Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Submitted on 22 Dec 2014
Arxiv Link
v2 : DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
Submitted on 2 Jun 2016
Arxiv Link
主要贡献：
1 使用 atrous/dilated 卷积
2 提出atrous 空间金字塔池化（ASPP）
3 使用全连接CRF
详细介绍：
atrous/dilated卷积在没有增加参数的情况下增加了视野范围。网络经过改变，如论文所示
多尺度处理可以多个调整尺寸的原图像平行通过CNN分支（金字塔图形）或者使用具有不同采样率的（ASPP）多个平行的不同的atrous 卷积层。
通过全连接CRF来实现结构预测。CRF。CRF作为后序流程单独训练/微调。 
DeepLab2 Pipeline. Source.
（5） RefineNet
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation
Submitted on 20 Nov 2016
Arxiv Link
主要贡献：
（1）具有良好解码块的编码-解码架构
（2） 所有部件遵循剩余全连接
详细解释：
采用dilated/atrous卷积也存在缺点。dilated卷积计算量大需要较大内存。因为他们已经被应用到大量高分辨率特征map。这阻碍了高分辨预测的计算。DeepLab预测，是原始输入大小的1/8。
因此，本文提出编解码的架构。编码部分是ResNet-101模块。解码器有RefineNet模块，它连接/融合编码器的高分辨率特征和以前RefineNet模块的低分辨率特征。
RefineNet Architecture. Source.
每个RefineNet模块拥有融合多分辨率特征的结构，他通过上采样低分辨率特征和捕获语境的组件，该组件基于重复size为5*5，stride为1 的重复池化层。这些组件中每个都采用了符合身份地图思维（identity map mindset）的残差连接（ResNet） 
RefineNet Block. Source.
（5） PSPNet
Pyramid Scene Parsing Network
Submitted on 4 Dec 2016
Arxiv Link
主要贡献：
1 提出金字塔池化模型来聚合上下文信息
2 使用辅助损失
详细介绍：
全局场景分类重要是因为它提供了切分类别分布的线索。金字塔池化模型通过使用大规模的kernel池化层来捕捉这类信息。
Dilted 卷积在dilted卷积论文中被用来修改残差网络（Resnet），在其上面增加一个金字塔池化模型。该模型将ResNet的特征映射与上采样的输出，该输出是并行池化层，拥有能够覆盖整个，一半和一小部分图像的kernel。
辅助损失，对主要分支额外的，被应用第四阶段的ResNet（即输入金字塔池化模块）。该方法也被其他地方称为中间监督。 
PSPNet. Source
(6) Large Kernel MAtters
Large Kernel Matters – Improve Semantic Segmentation by Global Convolutional Network
Submitted on 8 Mar 2017
Arxiv Link
主要贡献：
提出了拥有大面积的kernel的编解码架构
详细解释：
语义分割需要对对象进行分割和分类。由于全连接层是不可分割的结构，所以我们用非常大的卷积核来代替。
另一个原因是虽然更深度的神经网络比如ResNet拥有更大的接受视野。研究表明网络往往从一个很小的区域收集信息（有效接受域）。
较大的内核在计算上花费很大，并且参数更多。因此，K*K卷积核与1*K+K*1卷积核或者k*1+1*K卷积核近似。该模型在论文中被称作全局卷积网络（GCN）。
在架构中，ResNet（没有任何dilated卷积）组成编码部分，而GCNs和反卷积构成解码部分。一个简单的残余块被称为边界细化（BR）也被使用。 
GCN Architecture.Source
(7) DeepLab v3
Rethinking Atrous Convolution for Semantic Image Segmentation
Submitted on 17 Jun 2017
Arxiv Link
主要贡献：
1 改进多孔（atrous）空间金字塔池化
2 提出使用多孔卷积级联的模型
详细解释：
ResNet模型通过使用多孔/扩张卷积被改进作为DeepLabv2和扩张卷积。改进的ASPP涉及图像层次特征的级联。一个1*1卷积和3个3*3多孔卷积以不同的比率。在每个并行卷积层后面是批处理标准化。
级联模块是一个残差网络模块，除了卷基层是不同比率的多孔。该模型类似于扩张卷积论文中的语境模块，但它直接用与中间特征映射而不是信念映射（信念映射是指与拥有与类别数目相同通道的卷基层的特征映射）
两个模型都是独立评估的。结合两者不能提高性能。他们两者都表现的非常相似在验证集上在拥有ASPP表现的更好，CRF没有使用。
这些模型都由于从DeepLabv2的最好模型。作者注意到改进来自批处理和更好的编码多尺度上下文。 
DeepLabv3 ASPP（used for submission）.Source
- 上一篇 使用pycaffe定义网络
- 下一篇 ResNet_残差网络
深度学习-语义分割总结
- u013580397
- 2017-11-11 20:19:50
- 5346
语义分割--(FRRN)Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes
- u011974639
- 2018-03-14 22:15:56
- 483
图像语义分割之FCN和CRF
- u012759136
- 2016-09-04 21:17:05
- 40055
语义分割深度学习方法集锦
- xiamentingtao
- 2018-01-19 16:49:27
- 1748
语义分割相关总结
- qq_21275321
- 2017-08-16 14:36:37
- 1510
【Keras】基于SegNet和U-Net的遥感图像语义分割
- Real_Myth
- 2018-03-03 19:51:49
- 824
30篇关于语义分割的paper
- 2017年12月28日 17:10
- 103.65MB
- 下载
语义分割与实例分割的区别
- lanyuxuan100
- 2017-04-26 14:37:00
- 5150
语义分割paper02
- u010859498
- 2018-01-06 10:39:21
- 140
语义分割 - Semantic Segmentation Papers
- oJiMoDeYe12345
- 2017-05-23 14:54:16
- 12181
语义分割SegNet
- wmy199216
- 2017-05-07 18:12:10
- 2424
语义分割经典神经网络框架汇总
- tianrolin
- 2018-02-26 19:53:37
- 255
深度学习之语义分割-SegNet
- whz1861
- 2018-01-21 09:25:40
- 229
CV | Semantic Co-segmentation in Videos 视频协同语义分割
- iLOVEJohnny
- 2017-01-05 19:12:40
- 2117
实例分割和语义分割的区别
- zhaoshuling1109
- 2017-10-07 16:51:55
- 953
语义分割与实力分割的区别
- weixin_40294256
- 2018-03-18 18:56:10
- 67
Semantic Segmentation 语义分割 -- 深度学习（一）
- JYZhang_CVML
- 2017-01-31 16:25:21
- 5475
深度卷积网络CNN与图像语义分割
- xiahouzuoxin
- 2015-08-19 22:33:05
- 77677
计算机视觉 - 语义分割 （semantic segmentation）
- sinat_35496345
- 2018-03-19 11:39:43
- 112
论文笔记 | 基于深度学习的图像语义分割技术概述之5.1度量标准
- u014593748
- 2017-05-12 12:20:20
- 4015
图像语义分割
- zhangsh_20930
- 2017-09-15 23:55:07
- 717
图像语义分割学习笔记～心得
- u011771047
- 2017-05-20 11:23:42
- 1485
FCN/MRF图像语义分割与马克尔夫随机场
- u011534057
- 2016-09-26 14:15:24
- 2920
语义分割(semantic segmentation) 常用神经网络介绍对比-FCN SegNet U-net DeconvNet
- Miss_yan
- 2018-03-03 20:52:39
- 61
语义分割文献集合
- u011489887
- 2018-02-27 18:18:11
- 117
图像分类，物体检测，语义分割，实例分割的联系和区别
- niaolianjiulin
- 2016-10-27 18:07:00
- 2893
深度学习（三十三）CRF as RNN语义分割-未完待续
- hjimce
- 2016-03-14 19:07:38
- 21062
（译）从全卷积网络到大型卷积核：深度学习的语义分割全指南
- aitazhixin
- 2017-11-16 17:24:10
- 895
基于深度学习的图像语义分割技术概述之常用方法
- gqixf
- 2017-09-19 15:05:01
- 1865