计算机视觉 | 语义分割与Segmentation

前 言

        「MMSegmentation」 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。

        MMSegmentation v1.x 在 0.x 版本的基础上有了显著的提升,提供了更加灵活和功能丰富的体验。

主要特性

  • 统一的基准平台

        我们将各种各样的语义分割算法集成到了一个统一的工具箱,进行基准测试。

  • 模块化设计

        MMSegmentation 将分割框架解耦成不同的模块组件,通过组合不同的模块组件,用户可以便捷地构建自定义的分割模型。

  • 丰富的即插即用的算法和模型

        MMSegmentation 支持了众多主流的和最新的检测算法,例如 PSPNet,DeepLabV3,PSANet,DeepLabV3+ 等.

  • 速度快

        训练速度比其他语义分割代码库更快或者相当。

计算机视觉 | 语义分割与Segmentation_第1张图片

一、什么是语义分割 

任务:将图像按照物体的类别分割成不同的区域;

等价于:对每个像素进行分类。

计算机视觉 | 语义分割与Segmentation_第2张图片

 二、语义分割 vs 实例分割 vs 全景分割

计算机视觉 | 语义分割与Segmentation_第3张图片

三、语义分割基本思路

1、按颜色分割

计算机视觉 | 语义分割与Segmentation_第4张图片 

2、逐像素分类 

计算机视觉 | 语义分割与Segmentation_第5张图片

全连接层卷积化

计算机视觉 | 语义分割与Segmentation_第6张图片

四、深度学习下的语义分割网络 

1、全卷积网络 

计算机视觉 | 语义分割与Segmentation_第7张图片

2、预测图的升采样 

问题:图像分类模型使用降采样层(步长卷积或池化)获得高层次特征,导致全卷积网络输出尺寸小于原图,而分割要求同尺寸输出;

解决方法:
对预测的分割图升采样,恢复原图分辨率,升采样方案

  • 双线性插值
  • 转置卷积: 可学习的升采样层

计算机视觉 | 语义分割与Segmentation_第8张图片

3、基于多层级特征的上采样

计算机视觉 | 语义分割与Segmentation_第9张图片

计算机视觉 | 语义分割与Segmentation_第10张图片

4、上下文信息 

计算机视觉 | 语义分割与Segmentation_第11张图片

5、空洞卷积与DeepLab系列算法

计算机视觉 | 语义分割与Segmentation_第12张图片 

空间金字塔池化 计算机视觉 | 语义分割与Segmentation_第13张图片

 6、语义分割算法总结

计算机视觉 | 语义分割与Segmentation_第14张图片

7、近期前沿的语义分割工作

1)SegFormer 

2)K-Net

3)MaskFormer

4)Mask2Former

5)SAM

五、语义分割模型的评估

1、真实图与预测图

计算机视觉 | 语义分割与Segmentation_第15张图片

计算机视觉 | 语义分割与Segmentation_第16张图片

 

 

你可能感兴趣的:(数学建模)