Deep semantic segmentation of natural and medical images: a review

论文：Deep semantic segmentation of natural and medical images: a review | SpringerLink

摘要

1. 简介

2. 网络架构改进

    2.1 全卷积神经网络（FCN）用于语义分割

    2.2 编解码器语义图像分割网络

    2.3 降低图像分割网络的计算复杂度

        在降低网络复杂度方面做得探索有：通过张量分解、通道剪枝、网络剪枝或者网络连接稀疏化等方式简化网络结构以及NAS（network architecture search)

    2.4 基于注意力的图像语义分割

    2.5 对抗性语义图像分割

    主要用GAN判别网络来判断输入图像是来自于原图还是分割后的图像

    2.6 小结

    目前主流的语义分割模型是基于编解码结构的U-Net系列，相关研究又借助空洞卷积、空间金字塔提升U-Net性能

3. 适用于医学图像的结构改进

    Part A 模型压缩

    Part B 编解码分割框架

    Part C 注意力机制

    Part D GAN

    Part E 循环神经网络

    循环神经网络RNN主要用来处理序列模型，比如LSTM长短时记忆网络通过将上一时间步的状态作为当前时间步输入的一部分，有效保证了梯度的流动。而将RNN用于医学图像分割主要是考虑到医学图像具有一定的时间依赖性，比如将RNN的自循环机制结合FCN可以保留医学图像时间和空间上的信息用于分割；还有用RNN与CNN结合，主要用来处理包含时间意义的3D、4D医学图像。

4. 基于优化函数的改进

    4.1 交叉熵

    4.2 加权交叉熵

    4.3 Focal Loss

    4.4 基于重叠度量的损失函数

        4.4.1 Dice Loss / F1 Score

        4.4.2 Tversky Loss

        4.4.3 指数对数损失（Exponential Logarithmic Loss Wong）

        4.4.4 Lovaˊsz-Softmax loss

        4.4.5 Boundary Loss

        4.4.6 总结

5. 医学影像领域针对优化函数的改进

    5.1 正则交叉熵

    5.2 轮廓能量最小化

    5.3 Hausdorff距离

6. 基于图像合成的方法应用于医学图像分割

7. 弱监督方法

8. 多任务模型

9. 在自然图像上测试的主要模型的总结

10. 未来改进方向

    10.1 网络架构

     目前性能最佳的分割网络是以编解码结构辅助长短链接的这种网络结构。skip connection的存在有助于信息的流动、防止梯度消失，对分割和分类都有提升；编解码结构可以学习到更加丰富的特征表达，但也增加了计算成本，部分辨别力不强的特征也会不断传递下去，未来的优化方向之一就是如何优化skip connection传递的数据；另一方面则有通过空洞卷积、空间金字塔改善每个cell的性能。是否能设计出提取到新的特征层也是潜在的一个方向

    10.2序列模型

    主要用于3D医学图像的分割，可以将其视为具有时间维度的序列模型。将3D信息作为一个整体处理可以捕获到更多的几何特征信息，因此未来可以就3D图像按序列模型还是立体模型来处理也是值得探索的一个方向

    10.3 损失函数

     损失函数的优化在前文已叙述过。如果需要进行改进的话，可以在交叉熵损失函数或重叠度损失函数的基础上，加入由先验知识指导的正则化项;另一个可尝试的方向是仿照NAS进行自动损失函数的设计。

    10.4 其他潜在方向

    （1）结合先验知识完成像素级别的场景理解（2）由于医学图像标准、种类不一、还有独特的噪声机制，加之伦理、道德方面的限制和约束，使得缺少一致、规范的评判与对比（3）制备大规模开源的2D/3D医学分割图像数据集（4）探索增强学习在语义分割方面的应用（5）探究导致模型预测中假阳性等出现的原因（6）探究医学图像分割的弱监督模型以及使用图像级别标注的少样本学习方法

[图1：本文概述了基于深度学习的分割方法

图2：一个典型的基于深度神经网络的语义分割管道。管道中的每个组件表示本文中涵盖相应贡献的部分

论文阅读——Deep Semantic Segmentation of Natural and Medical Images: A Review_黄小米吖的博客-CSDN博客