最新出炉的U-Net研究性综述:Medical Image Segmentation Review: The Success of U-Net

热乎的Medical Segmentation 综述

    • 1 文章介绍
    • 2 前言
    • 3 U-Net变型
    • 4 Skip Connection Enhancements
      • 4.1 Increasing the Number of Skip Connections
      • 4.2 Processing Feature Maps within the Skip Connections
      • 4.3 Combination of Encoder and Decoder Feature Maps
    • 5 Backbone Design Enhancements
      • 5.1 Residual Backbone
      • 5.2 Multi-Resolution blocks
      • 5.3Re-considering Convolution
    • 其他综述


想看文章,请先看这里,哈哈,菜鸡记录,继续努力!!

这篇综述,应该是我之后看的Medical Segmentation倒数第二篇综述了,最后一篇应该是专门介绍Transformer在Medical Segmentation中的应用;这篇文章太长了,不好消化,很难写好,准备后期有一定量的知识储备再来写,同时,在写blog中,我也看到了不同的很多综述文章,发现,综述虽好,可不要贪杯哦,文末给出了三篇综述blog,可以稍微看看,我准备最近先码码代码,后期有时间再来补这篇博客!!


1 文章介绍

最新出炉的U-Net研究性综述:Medical Image Segmentation Review: The Success of U-Net_第1张图片
论文地址:https://arxiv.org/abs/2211.14830
代码地址:https://github.com/NITR098/Awesome-U-Net

2 前言

文章第一部分是介绍了医学图像分割的重要性,第二部分是分别介绍了2D-UNet和3D-UNet的发展史和意义;文章重点在第三部分和第四部分,第三部介绍了U-Net的六个部分的改进,第四部分是介绍了主要模型的全部实施过程,第五部分,介绍了医学图像分割的未来发展方向和困难点。

3 U-Net变型

文章主要从六个部分介绍了截至2022年9月,高引用文章的模型改进方法,分为:

  1. Skip Connection Enhancements;
  2. Backbone Design Enhancements;
  3. Bottleneck Enhancements;
  4. Transformers;
  5. Rich Representation Enhancements;
  6. Probabilistic Design。
    具体参考的模型如下图:
    最新出炉的U-Net研究性综述:Medical Image Segmentation Review: The Success of U-Net_第2张图片
    同时,文章也介绍了在医学图像分析和临床使用中的详细概述,在论文中讨论了U-Nets如何参与临床决策的说明:分为四个部分,第一个块处理图像采集、准备和预处理步骤,以为深度神经网络提供通用格式的数据。第二步使用神经架构搜索算法为手头的任务找到一个有效的架构,而第三步旨在执行后置操作,以进一步完善网络输出。最后,应用程序块使用软件输出来辅助专家进行某些操作(例如,肿瘤生长监测),具体步骤如下图:
    最新出炉的U-Net研究性综述:Medical Image Segmentation Review: The Success of U-Net_第3张图片

4 Skip Connection Enhancements

跳跃链接作为U-Net连接对应层相同尺度特征图来缓解特征丢失的重要手段,在整个U-Net网络中起着非常关键的作用,因此这一部分,文章重点介绍针对跳连接的模型优化研究综述:

4.1 Increasing the Number of Skip Connections

第一种方法是通过增加跳跃连接的数量来提升U-Net的分割效果,那如何增加连接数量呢?
原本准备继续写下去的,但是文章中提到的模型非常之多,而给出的解释却不多,很难总结出模型的精髓,因此决定罢笔,不继续写下去,文章的结构很简单,就是按照思维导图上的写下去的,大家可以按照思维导图的介绍,对相关模型感兴趣,就搜索具体模型的相关博客学习,以下我就写一些自己从来没听过的网络,增加以下映像!
省略U-Net ++, U-Net 3+,介绍双向O网网络(Bi-directional O-Shape network,BiO-Net), 结构图如下:
最新出炉的U-Net研究性综述:Medical Image Segmentation Review: The Success of U-Net_第4张图片
前向跳跃链接就是原始的U-Net链接,向后跳跃链接将解码的高级特征从解码器传递回同一级别的编码器。然后,编码器可以将语义解码器的特征与其原始输入结合起来,并灵活地聚合这两种类型的特征。
优点: 进一步提升了网络的学习能力,同时没有添加额外的层,因此没有添加额外的参数量;
缺点: 使用递归结构,会增加网络的训练时间;

4.2 Processing Feature Maps within the Skip Connections

上面是添加跳跃链接数量,这里是在跳跃链接中做文章,一般是添加Attention模块;
省略Attention U-Net和Attention U-Net++(这两个简单,可以找相关的博客看一下),RA-UNet和Attention UNet较为相似吧,这个残差是没有太弄明白,Projiective Skip-Connection,是将不同维度的数据进行转换,常用于3D图像转为2D图像;

4.3 Combination of Encoder and Decoder Feature Maps

将双向卷积长短期记忆(LSTM)引入到了跳跃链接中,这个我没接触过,这是NLP中的内容啊,巨佬们就是跨界大神,叹为观止!

5 Backbone Design Enhancements

基础U-Net的网络结构中,主干骨架,就是每一个Block,是由两个卷积层加上一个ReLU激活函数;

5.1 Residual Backbone

文章中这个部分主要介绍了三个模型,分别是Res U-Net,V-Net(3D图像和提出了Dice Loss),H-Dense U-Net ,这里不介绍,有需要可以找相关博客看!

5.2 Multi-Resolution blocks

文章重点介绍了使用Inception加入到U-Net中增加网络学习不同分辨率图像特征;
不写了,不写了,实在写不下去了,太多的超出了我的知识储备,以后学到了再来填坑!!

5.3Re-considering Convolution

停笔,不写了,下次有一大段时间的时候再来写,实在写不下去了,太长了,需要消化很长时间!

其他综述

U-Net 模型改进和应用场景研究性综述
医学图像分割U-Net网络应用综述
医学图像分割U-Net网络应用综述

你可能感兴趣的:(医学图像分割,论文研读,深度学习,人工智能,计算机视觉,图像处理,神经网络)