最简单的基于FCN的语义分割任务

下面介绍全卷积网络最简单的结构,实际就是卷积层和反卷积层组成。即使只采用三个卷积层两个池化层(比Alexnet)更简单也能实现语义分割。下面语义分割的二分类和三分类为例。图像尺寸可以缩小到64x64.想要提升精度,在GitHub上有介绍最新的FCN结构完整语义分割任务,最新的结构无论是PSPNet,DeeplabV3,CCNet,DANet都是在想办法提升网络的感受野,利用上下文信息。从而提升语义分割的精度。这些网络在Cityscapes数据集的精度MIOU都在81%左右。这些网络介绍起来篇幅较大,因此可以根据本文后面的链接,阅读原文以及其开源代码。

最简单的基于FCN的语义分割任务_第1张图片

 

先上一个图,这个图展示的是在Weizmann horse 数据集上做的一个语义分割任务时最简单的全卷积网络结构。其实写这个博客是想记录一下自己前段时间研究FCN的内容,主要工作是在两个数据集,一个是Weizmann horse 数据集,另一个是lfw数据集。同样是使用的FCN网络(层数不同,通道数不同),都是做的语义分割任务。马的这个数据集相对小一点,只有328张图,每张图有对应的标签,最后分割为背景和马;而lfw数据集全称是Labeled Faces in the Wild,分割为三个部分,头发、皮肤和背景。

最后分割的训练测试的效果如下图:

最简单的基于FCN的语义分割任务_第2张图片

最简单的基于FCN的语义分割任务_第3张图片

以上效果不是最佳效果,而是网络层极少,图像尺寸只有64x64,没有使用数据增强等手段。只是为了展示最简单的FCN。下面有介绍最新的网络结构。

Code is available in https://github.com/HqWei/Semantic-Segmentation-with-Full-Convolutional-Neural-Network.

## Introduction
Semantic segmentation in Weizmann horse dataset and Labeled Face in the Wild dataset.
## Method

### 最早的全卷积语义分割网络:

https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf

### 目前比较热门的结构
#### PSPNet :Pyramid Scene Parsing Network

https://github.com/hszhao/PSPNet

#### DeeplabV3 :Rethinking Atrous Convolution for Semantic Image Segmentation

https://arxiv.org/abs/1706.05587

https://github.com/NanqingD/DeepLabV3-Tensorflow

#### 基于attention机制的:
##### CCNet: Criss-Cross Attention for Semantic Segmentation

https://github.com/speedinghzl/CCNet

##### DAN : Dual Attention Network for Scene Segmentation

https://github.com/junfu1115/DANet

## Datasets:

The download link for Weizmann horse dataset:

http://www.msri.org/people/members/eranb/

Labeled Face in the Wild:

http://vis-www.cs.umass.edu/lfw/

Related semantic datasets:

https://blog.csdn.net/bevison/article/details/78123403

你可能感兴趣的:(语义分割)