U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)

U-net: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation

  • 医学图像分割
  • 1. U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA(国际医学图像计算和计算机辅助干预会议)2015)
  • 2. FusionNet——《FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics》(主题CVPR 2016)

医学图像分割

  • 难点

    • 数据量少。一些挑战赛只提供不到1 0 0例的数据
    • 图片尺寸大。单张图片尺寸大、分辨率高,对模型的处理速度有一定的要求
    • 要求高。医学图像边界模糊、梯度复杂,对算法的分割准确度要求极高
    • 多模态。以I SLES脑梗竞赛为例,其官方提供了CBF , MTT , CBV , TMAX , CTP等多种模态的数据
      U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第1张图片
  • ISBI:IEEE International Symposium on Biomedical Imaging(IEEE国际生物医学影像研讨会)

    • ISBI是IEEE信号处理协会(SPS)和IEEE医学与生物学工程学会(EMBS)的一项联合计划。要求高质
      量的论文,包括图像形成和重建,图像处理和分析,动态成像,可视化,图像质量评估,大图像数据的机器学习以及物理,生物学和统计建模。

1. U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA(国际医学图像计算和计算机辅助干预会议)2015)

  • 标题:SegNet:一种用于图像分割的深度卷积编码器-解码器结构

  • 论文:https://arxiv.org/pdf/1505.04597v1.pdf

  • 代码:

    • https://github.com/labmlai/annotated_deep_learning_paper_implementations
    • https://github.com/milesial/Pytorch-UNet
  • 研究成果及意义:

    • 1.赢得了ISBI cell tracking challenge 2015
    • 2.速度快,对一个512*512的图像,使用一块GPU只需要不到一秒的时间
    • 3.成为大多做医疗影像语义分割任务的baseline,也启发了大量研究者去思考U型语义分割网络
    • 4.UNet结合了低分辨率信息(提供物体类别识别依据)和高分辨率信息(提供精准分割定位依
      据),完美适用于医学图像分割
  • 摘要:

    • 主要贡献:本文提出了一个网络和训练策略,使用数据增强,以便更有效的使用可用的带标签
      样本
    • 网络结构:网络由两部分组成,定义一个收缩路径来获取全局信息,同时定义一个对称的扩张
      路径用以精确定位
    • 网络效果:该网络可以用很少的图片进行端到端训练,处理速度也比较快
    • 实验结果:以很大的优势赢得了2015 ISBI细胞跟踪挑战赛
  • 引言

    • Ciresan等人在滑动窗口设置中训练网络,以某一像素的领域(patch)作为输入,用于预测每个像素的类别标签。网络的优点有:
      • 网络具有局部感知能力
      • 用于训练的样本数量远大于训练图像的数量
      • 改网络获得EM分割挑战ISBI 2012冠军
    • 改网络中有两点明显的不足:
      • 改网络运行效率很慢。对于每个领域,网络都要运行一次,且对于领域重叠部分,网络会进行重复运算
      • 网络需要在精确的定位和获取上下文信息之间平衡。越大的patch需要越多的最大池化层,这会降低定位的准确度,而小的patch使得网络获取较少的上下文信息。
    • 我们在FCN基础上建立了一个更加优雅的框架,我们修改并扩展了这个框架,使其可以仅使用少量训练图片就可以工作,获得更高的分割准确率,改进思想:
      • 设计了一个完全对称的U型结构,可以更好的融合图片特征
        U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第2张图片
      • 在上采样部分也包括大量特征通道,使网络能够将全局信息传播到更高的分辨率层
      • 采用镜像输入图像的方式进行补全缺失内容(是针对卷积操作存在两个问题: 1.图像越来越小;2.图像边界信息丢失,即有些图像角落和边界的信息发挥作用较少,文章中是说:细胞中心具有上下文信息帮忙分类,边界没有很好的上下文信息,所以需要补全 )
        U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第3张图片
        图中(镜像操作):将边缘部分对称反转padding图像边缘,通过卷积核保持最后的特征图大小不变
      • 数据增强:用随机变形,对细胞分割很有效
      • 设计了加权损失函数(连接细胞的权重大些)
        U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第4张图片
        U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第5张图片
        加权损失: d 1 ( x ) d_1(x) d1x表示图中某一背景像素点到离这个点最近的细胞边界的距离, d 2 ( x ) d_2(x) d2x表示离这个像素点第二近的细胞的距离。即在细胞边界附近的像素点给的权重会大一些,离细胞比较远的像素点会小一点。如果同类细胞贴的比较近,可能就会增大训练的难度,减少准确率,毕竟卷积会考虑该像素点周围的一些特征,而两个相同的类的细胞贴在一起,就容易误判,所以对这种两个相同类贴在一起的细胞边界,给予较大的权重,使得训练之后分割更准确

2. FusionNet——《FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics》(主题CVPR 2016)

  • 标题:学习反卷积网络的语义分割
  • 论文:https://arxiv.org/ftp/arxiv/papers/1612/1612.05360.pdf
  • 代码:https://github.com/GunhoChoi/FusionNet-Pytorch
  • 摘要:
    • 主要贡献:本文提出了一种新的深度神经网络FusionNet,用于自动分割连接组学数据中的神经元结构
    • 主要方法:引入了基于求和的跳跃连接,允许更深入的网络结构以实现更精确的分割
    • 实验结果:通过与ISBI-EM分割挑战中的最新方法比较,我们展示了方法的新性能。还展示了两个其他任务的分割结果,包括细胞膜和细胞体的分割以及细胞形态学的统计分析
      U-Net——《U-Net: Convolutional Networks for Biomedical Image Segmentation》(MICCA 2015)_第6张图片

你可能感兴趣的:(目标检测&实例分割,图像分割,语义分割,人工智能,Unet)