一文尽览！2020图像分割最新进展

图灵TOPIA

作者：Jakub Czakon

编译：安然

来源：图灵TOPIA

近日，数据科学家Jakub Czakon在一篇博文介绍了2020年图像分割的最新进展。Jakub分别图像分割架构、图像分割中使用的损失函数、图像分割工具等方面进行了概述。

什么是图像分割?      

 

顾名思义，就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。在这个过程中，图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型：语义分割和实例分割。

在语义分割中，同一类型的所有对象都使用一个类标签进行标记，而在实例分割中，相似的对象则各自获得独立标签。

 

 

图像分割架构

图像分割的基本架构由编码器和解码器组成。

 

 

编码器通过过滤器从图像中提取特征。解码器负责生成最终输出，通常是一个包含对象轮廓的分割掩码。大多数体系结构都具有该体系结构或其变体。

 

来看几个例子。

 

U-Net

 

U-Net是最初用于分割生物医学图像的卷积神经网络。视化时，其架构看起来像字母U，因此也称为U-Net。它的体系结构由两部分组成，左边部分是收缩路径，右边部分是扩展路径。收缩路径的目的是捕获上下文，而扩展路径的作用是帮助精确定位。

  U-net架构图像分割

 

U-Net由右边的扩展路径和左边的收缩路径组成。收缩路径由两个3×3的卷积组成。卷积之后是一个经过整流的线性单元和一个用于向下采样的2×2最大池计算。

FastFCN——快速全连接网络

 

在这个架构中，联合金字塔上采样(JPU)模块被用来代替扩展卷积，因为它们消耗大量的内存和时间。它的核心是一个全连接网络，同时使用JPU进行上采样。JPU将低分辨率特征图上采样为高分辨率特征图。

 

FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation 

https://arxiv.org/abs/1903.11816

 

Gated-SCNN

 

该架构由双流CNN架构组成。在此模型中，一个单独的分支用于处理图像形状信息，另一个分支结构用于处理边界信息。

Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

https://arxiv.org/abs/1907.05740

 

DeepLab

 

在这种结构中，带有上采样滤波器的卷积用于涉及密集预测的任务。多个对象的分割是通过无空间金字塔空间池完成的。最后，使用DCNNs来改进对象边界的定位。

 

通过插入零或对输入特征图进行稀疏采样来对滤波器进行上采样，从而实现空洞卷积。

 

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

https://arxiv.org/abs/1606.00915

 

Mask R-CNN

 

在这种体系结构中，使用包围框和语义分割对对象进行分类和定位，语义分割将每个像素划分为一组类别。

 

每个感兴趣的区域都有一个分割掩码。将产生一个类标签和一个边界框作为最终输出。该体系结构是Faster R-CNN的扩展。

 

Faster R-CNN由提出区域的深度卷积网络和利用区域的检测器组成。

 

Mask R-CNN

 https://arxiv.org/abs/1703.06870

 

这是在COCO测试集上得到的结果的图像。

 

图像分割损失函数

 

语义分割模型在训练过程中通常使用一个简单的交叉熵损失函数。但是，如果对获取图像的信息粒度感兴趣，则必须恢复到稍微高级的损失函数。来看几个例子。

 

Focal Loss

这种损失是对标准交叉熵标准的一种改进。

 

这是通过更改其形状来实现的，以降低Well-classified examples的损失权重。最终，确保不存在类不平衡。

 

在此损失函数中，随着对正确类别的置信度增加，随着比例因子在零处衰减，交叉熵损失会按比例缩放。在训练时，比例因子自动降低简单示例的权重，并将重点放在困难示例上。

 

 

Dice loss

 

该损失是通过计算平滑骰子系数函数获得的。这种损失是最常用，是分割问题。

 

Interp over Union (IoU)-balanced Loss

 

IoU平衡分类损失的目的是增加高IoU样本的梯度，降低IoU样本的梯度。这样可以提高机器学习模型的定位精度。

Boundary loss

 

边界损失的一种变体适用于具有高度不平衡的分割任务。这种损失的形式是空间轮廓而非区域上的距离度量。通过这种方式，它解决了高度不平衡的分割任务的区域损失所带来的问题。

 

Weighted cross-entropy

 

在交叉熵的一个变体中，所有正例均按一定系数加权。它用于涉及类不平衡的

情况。

 

 

Lovász-Softmax loss

 

该损失基于子模损失的凸函数lovasz extension，对神经网络中的检测评价函数interp-over-union ( IOU )损失进行直接优化。

 

其他损失有:

 

TopK loss——其目标是确保网络在训练过程中专注于困难样本。

 

Distance penalized CE loss——它将网络引向难以分割的边界区域。

 

Sensitivity-Specificity (SS) loss——计算特异性和敏感性的均方差的加权和。

 

Hausdorff distance(HD) loss——从卷积神经网络估计Hausdorff距离。

 

这些只是图像分割中使用的几个损失函数。更多内容请查看：

https://github.com/JunMa11/SegLoss

 

图像分割数据集

 

Coco Dataset

COCO是大规模的对象检测，分割和字幕数据集。数据集包含91个类别。它有25 万个有关键点标记的人体实例。它的下载大小是37.57 GiB。它包含80个对象类别。它在Apache 2.0许可下可用。下载链接：

 https://www.tensorflow.org/datasets/catalog/coco

 

PASCAL Visual Object Classes (PASCAL VOC)

 

PASCAL有9963张图像，其中有20种不同的类别。训练/验证集是一个2GB的tar文件。下载链接：

 

http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

The Cityscapes Dataset

 

这个数据集包含城市场景的图像。它可用于评估城市场景中视觉算法的性能。数据集可从此处下载。

 https://www.cityscapes-dataset.com/downloads/

The Cambridge-driving Labeled Video Database — CamVid

这是一个基于运动的分割和识别数据集。它包含32个语义类。此链接包含进一步的说明和数据集的下载链接。

 http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/

图像分割工具

 

现在已经有了数据集，接下来介绍一些入门的工具/框架。

 

FastAI library——给定图像，该库能够为图像中的对象创建Mask。

 

Sefexa Image Segmentation Tool——Sefexa是一个免费工具，可用于半自动图像分割。图像分析和ground truth的创建

 

Deepmask——Facebook Research的Deepmask是DeepMask和SharpMask的Torch实现

 

MultiPath——这是一个来自“目标检测的多路径网络”的Torch对象检测网络的实现。

 

OpenCV——这是一个开放源代码的计算机视觉库，具有2500多种优化算法。

 

MIScnn——是医学图像分割开源库。它允许在几行代码中使用最新的卷积神经网络和深度学习模型来建立管道。

 

Fritz——提供了多种计算机视觉工具，包括用于移动设备的图像分割工具。

 

 原文链接：

https://towardsdatascience.com/image-segmentation-in-2020-756b77fa88fc