深度学习应用在图像分割上的网络模型概述

深度学习在图像分割上的模型概述

  1. 在这里主要介绍一下,深度学习在图像分割方面的一些主要模型。

摘要

图像分割是图像处理和计算机视觉的领域的一个重要课题,其应用主要包括场景理解,医学图像分割,机器人感知,视频监控,增强现实和图像压缩等。这篇文章主要主要回顾了基于深度学习模型的图像分割方法。
图像分割主要包括三种:1,语义分割:简单来说就是对图像中的像素点进行分类。就是把图像中每个像素赋予一个类别标签(比如汽车、建筑、地面、天空等),比如下图就把图像分为了草地(浅绿)、人(红色)、树木(深绿)、天空(蓝色)等标签,用不同的颜色来表示。
深度学习应用在图像分割上的网络模型概述_第1张图片
2. 实例分割。不需要对每个像素进行标记,它只需要找到感兴趣物体的边缘轮廓就行,比如下图中的人就是感兴趣的物体。该图的分割方法采用了一种称为Mask R-CNN的方法。我们可以看到每个人都是不同的颜色的轮廓,因此我们可以区分出单个个体。深度学习应用在图像分割上的网络模型概述_第2张图片
3. 全景分割。它是语义分割和实例分割的结合。如下图所示,每个像素都被分为一类,如果一种类别里有多个实例,会用不同的颜色进行区分,我们可以知道哪个像素属于哪个类中的哪个实例。比如下图中黄色和红色都属于人这一个类别里,但是分别属于不同的实例(人),因此我们可以通过mask的颜色很容易分辨出不同的实例。
深度学习应用在图像分割上的网络模型概述_第3张图片

模型概述

1.Fully Convolutional Networks

深度学习应用在图像分割上的网络模型概述_第4张图片
深度学习应用在图像分割上的网络模型概述_第5张图片
FCN 全卷积神经网络,图像分割的开山之作。

论文地址:https://arxiv.org/abs/1411.4038

2 Convolutional Models With Graphical Models

深度学习应用在图像分割上的网络模型概述_第6张图片
一种联合训练CNN和完全连接的CRF进行语义图像分割的方法,并在具有挑战性的PASCAL VOC 2012数据集上取得了令人鼓舞的结果

3 Encoder-Decoder Based Models

目前使用最多的网络模型,大多数的网络模型都是在此基础上改动。比较典型的又Segnet,u_net。
深度学习应用在图像分割上的网络模型概述_第7张图片
深度学习应用在图像分割上的网络模型概述_第8张图片
论文地址 https://arxiv.org/abs/1505.04597

4 Multi-Scale and Pyramid Network Based Models

深度学习应用在图像分割上的网络模型概述_第9张图片
带有金字塔池化的网络结构,融合了不同尺度的特征。

5 R-CNN Based Models (for Instance Segmentation)

深度学习应用在图像分割上的网络模型概述_第10张图片
R-CNN 系列的网络,主要用于实例分割。其中表现较好的是Mask-RCNN,如上图所示。

6 Dilated Convolutional Models and DeepLab Family

深度学习应用在图像分割上的网络模型概述_第11张图片
空洞卷积用于扩大感受野。这个是当前网络改进的一个方法。
深度学习应用在图像分割上的网络模型概述_第12张图片
DeepLab系列网络,是第一次空洞卷积用在了卷积网络中,并且得到了一个较高的准确率。其中目前表现最好的是deeplabv3,网络结构上图所示。
论文链接 https://arxiv.org/abs/1706.05587

7 Recurrent Neural Network Based Models

循环卷积神经网路RNN,还有长短时记忆网络LSTM,这都是为处理具有时间的性质的图像开发的网络结构,比如视频,超声。
深度学习应用在图像分割上的网络模型概述_第13张图片
深度学习应用在图像分割上的网络模型概述_第14张图片

8 Attention-Based Models

目前网络的一个改进点就是使用注意力模块,这种注意力模块有很多种,主要就去提升特征学习的能力,提升分割精度。
深度学习应用在图像分割上的网络模型概述_第15张图片
这里有各种注意力的介绍和代码 https://github.com/xmu-xiaoma666/External-Attention-pytorch

9 Generative Models and Adversarial Training

深度学习应用在图像分割上的网络模型概述_第16张图片
生成对抗模型

总结

目前大多数图像分割网络模型,大多数是基于上面的的改进或者不变的。目前基于Treansformer 的模型表现也很好,在这里就不过过介绍,想要详细的了解,可以去看具体的论文。在这里只是做一个概述,让我们知道有哪些具体的模型。

你可能感兴趣的:(论文学习和分享,深度学习,网络,计算机视觉)