语义分割综述整理(更新中)

语义分割

  1. 综述
    知乎:图像语义分割综述
    知乎:DeepLab 语义分割模型 v1、v2、v3、v3+ 概要(附 Pytorch 实现)
    干货 | 一文概览主要语义分割网络,FCN、UNet、SegNet、DeepLab 等等等等应有尽有
    4种语义分割数据集Cityscapes上SOTA方法总结 ——强推
    语义分割综述 ——强推
    史上最全语义分割综述(FCN,UNet,SegNet,Deeplab,ASPP…)
    最全综述 | 图像分割算法

  2. 心得
    把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。在这个过程中,图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型:语义分割和实例分割。语义分割不同的实现架构:
    (1). 编码器-解码器的构架(FCN、SegNet、U-Net)
    编码器一般采用图像分类预训练得到的网络,采用不断的max pooling和strided convolution有利于获得长范围的语境信息从而得到更好的分类结果。然而在此过程中特征分辨率不断降低,图像细节信息丢失,对于分割任务而言具有巨大的挑战。因此在编码器之后需要利用解码器进行图像分辨率的恢复;
    (2). 语境模块(Multi-scale context aggregation、DeepLab V1、V2和CRF-RNN等)
    语境模块一般是级联在模型后面,以获得长距离的语境信息。以DenseCRF级联在DeepLab之后理解,DenseCRF能够对于任意长距离内像素之间的关系进行建模,因此改善逐项素分类得到的分割结果;
    (3). 金字塔池化方法(PSPNet、DeepLab V2、V3、V3+等)
    金字塔池化的方法作用在卷积特征上,能够以任意的尺度得到对应的语境信息。一般采用平行的多尺度空洞卷积(ASPP)或者多区域池化(PSPNet)得到对应尺度语境信息的特征,最后再将其融合形成综合多个尺度语境的特征向量。
    原文链接
    用Conditional Random Field(CRF)postprocessing(CRF后处理)通常用来提升分割效果。CRF是一个图模型,它基于潜在的图像强度来进行光滑分割。他们的工作基于这样的观察:相似强度的像素往往被标记为相同的类,通常CRF可以提高1%~2%的性能
    原文链接
    进阶参考:知乎:语义分割该如何走下去?

  3. 损失函数
    语义分割之损失函数汇总
    实际上Dice Loss只是Tversky Loss的一种特殊形式而已。
    知乎:【损失函数合集】超详细的语义分割中的Loss大盘点

  4. deeplabv3+
    v3+ 最大的改进是将 DeepLab 的 DCNN 部分看做 Encoder,将 DCNN 输出的特征图上采样成原图大小的部分看做 Decoder ,构成 Encoder+Decoder 体系,双线性插值上采样便是一个简单的 Decoder,而强化 Decoder 便可使模型整体在图像语义分割边缘部分取得良好的结果。
    具体来说,DeepLabV3+ 在 stride = 16 的DeepLabv3 模型输出上采样 4x 后,将 DCNN 中 0.25x 的输出使用1x1的卷积降维后与之连接(concat)再使用3x3卷积处理后双线性插值上采样 4 倍后得到相对于 DeepLabv3 更精细的结果。

  5. HROCR
    【multi-scale系列】HRNet系列:HRNet、HRNetV2、HRNetV2p、HigherHRNet
    打通多个视觉任务的全能Backbone:HRNet
    HRNet 源代码结构详解 ——强推

  6. segformer
    (NeurIPS’21) SegFormer: 简单有效的语义分割新思路
    ViT的结构不太适合做语义分割,因为ViT是柱状结构,全程只能输出固定分辨率的feature map, 比如1/16, 这么低的分辨率对于语义分割不太友好,尤其是对轮廓等细节要求比较精细的场景。
    mmsegmentation我个人认为是目前最好的语义分割军火库(openmmlab, yyds),推荐大家多多使用。

  7. 其他网络
    Segmenter:基于纯Transformer的语义分割网络
    STDC语义分割网络:BiSeNet的轻量化加强版(CVPR2021语义分割)
    2020语义分割网络语义流:Semantic Flow for Fast and Accurate Scene Parsing
    Fast-SCNN:多分支结构共享低级特征的语义分割网络
    语义分割网络-BiSenet

  8. 其他
    SOTA模型,以为是个很牛逼的算法,找了半天原理SOTA是state of the art的缩写
    推广:SOTA,benchmark和baseline分别是什么意思?

代码指路

https://github.com/kazuto1011/deeplab-pytorch ——已测试
https://github.com/fregu856/deeplabv3
https://github.com/YudeWang/deeplabv3plus-pytorch

这是不知道什么时候看的densenet
https://github.com/gpleiss/efficient_densenet_pytorch/blob/master/models/densenet.py

你可能感兴趣的:(深度学习,深度学习,pytorch,神经网络)