DeepLab V3 ---- 学习笔记

学习视频链接：https://www.bilibili.com/video/BV1Jb4y1q7j7
学习博文链接：https://blog.csdn.net/qq_37541097/article/details/121797301
论文地址：https://arxiv.org/abs/1706.05587

1. 论文介绍

DeepLab V3 在2017年发布于CVPR
《Rethinking Atrous Convolution for Semantic Image Segmentation》
特点：
（1）引入了Multi-grid
（2）改进ASPP结构
（3）移除CRFs后处理

2. 论文中获取多尺度信息的可选架构

（a）将图片缩放到不同的尺度，分别输入到网络中进行正向推理，各尺度的输出融合，得到最终输出
（b）编码、解码方式，类似U-Net
（c）类似DeepLab V1，将分类网络中最后几个下采样的布局设置为1，引入膨胀卷积增大网络的感受野
（d）类似DeepLab V2 的 ASPP 结构

3. DeepLab V3的网络结构

以ResNet 为 Backbone

（1）联级的模型（cascaded model）

①Block1 对应 conv2_x ，Block2 对应 conv3_x ，Block3 对应 conv4_x ，
Block4、5、6、7 对应 conv5_x
②方框中16为训练时设置的参数，测试时设置为8。
设置为16可以加速训练，现在不需要，只需要将该参数设置为8

（2）ASPP模型

a操作为ASPP模型
b操作为全局池化层
先拼接再通过1x1的卷积层

（3）V2 和 V3 的ASPP对比

4. Multi-grid

联级模型使用（1，2，1）
ASPP模型使用（1，2，4）

5. 消融实验

6. 训练细节

训练策略中三个主要的不同
（1）使用大尺寸照片，对比如图中表格所示
（2）损失计算：上采样回原图后再去计算损失
（3）训练完成后，冻结BN层

7. Pytorch 官方实现的DeepLab V3