语义分割（学习笔记）

语义分割基础网络（学习笔记）

参考博客：1. 图像语义分割模型综述_李明朔的博客-CSDN博客_语义分割模型

2.史上最全语义分割综述（FCN,UNet,SegNet，Deeplab，ASPP…）_一一-CSDN博客

3.【语义分割】一篇看完就懂的最新深度语义分割模型综述_小白学视觉-CSDN博客

目录：

• 1.FCN
• 2.Segnet
• 3.Unet
• 4.DeepLab

==语义分割的概念：==将图像根据语义进行分割，通俗讲就是将图片中的不同内容进行分割，什么是分割，即对其内容所包含的全部像素点值进行替换。这样就将图像中不同语义分割出来了。语义分割只能判断类别，无法区分个体。

---

1.FCN(2014)

FCN提出可以把分类任务中后面几个全连接都换成卷积，这样就可以获得一张2维的feature map，后接softmax获得每个像素点的分类信息，从而解决了分割问题。简单的说，FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层，其输出的是一张已经标记好的图，而不是一个概率值。

参考博客： FCN的学习及理解（Fully Convolutional Networks for Semantic Segmentation）_凹酱的DEEP LEARNING-CSDN博客_fcn

2.Segnet

针对 FCN 在语义分割时感受野固定和分割物体细节容易丢失或被平滑的问题， SegNet被提出。SegNet和FCN思路十分相似，编码部分主要由VGG16网络的前 13 个卷积层和 5 个池化层组成，解码部分同样也由 13 个卷积层和 5 个上采样层组成，最后一个解码器输出的高维特征被送到可训练的softmax 分类器中，用于分类每个独立的像素。特别地，SegNet 网络采用了 pooling indices 来保存图像的轮廓信息，降低了参数数量。

3.UNet(2015)

Unet可以说是最常用、最简单的一种分割模型了，它简单、高效、易懂、容易构建、可以从小数据集中训练。Unet网络非常的简单，前半部分就是特征提取，后半部分是上采样。在一些文献中把这种结构叫做编码器-解码器结构，由于网络的整体结构是一个大些的英文字母U，所以叫做U-net。

Unet在医疗图像分割种表现好,适用于小样本数据集。

4.DeepLab系列

（1）DeepLab-v1

DeepLab v1模型是在VGG的基础上改进的，下图为VGG示意图。

DeepLabV1做的改变包括：

• 把全连接层（fc6、fc7、fc8）改成卷积层。
• 把最后两个池化层（pool4、pool5）的步长2改成1（下采样32倍变为8倍，保证feature的分辨率）
• 把最后三个卷积层（conv5_1、conv5_2、conv5_3）的dilate rate设置为2，且第一个全连接层的dilate rate设置为4（保持感受野）
• 把最后一个全连接层fc8的通道数从1000改为21
• 多尺度融合：简单来说就是将特征提取网络过程中得到的特征图拿出来与最终模型的输出拼接到一起。

（2）DeepLab-v2

DeepLabv2 相对于 v1 最大的改动是增加了空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP))，在模型最后进行像素分类之前增加一个类似 Inception 的结构，包含不同空洞间隔的空洞卷积，增强模型识别不同尺寸的同一物体的能力。

（3）DeepLab-v3

在 ASPP 中加入了全局平均池化，同时在平行扩张卷积后添加批量归一化，有效地捕获了全局语境信息。