医学图像分割基石-UNet

一 医学图像分割

医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊断和病理学研究提供可靠的依据，辅助医生做出更为准确的判断，当前，医学图像分割仍在从手动分割或半自动分割向区自动分割发展。

1.1 处理对象

各种不同成像机里的医学影像，主要有x射线，核磁共振、MRI、UI

1.2 应用方向

医学教学、手术规划、手术仿真及各种医学研究

1.3 应用场景

病变检测、图像分割、图像配准及图像融合

1.4 应用思路

首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，然后进行三维重建和三维显示，可以辅助医生对病变体及其它感兴趣区域进行定性甚至定量分析，从而大大提高医疗辅助的准确性和可靠性。

1.5 主要存在难点

• 数量少，一些挑战赛只提供不到100例数据
• 图片尺寸大，单张图片尺寸大、分辨率高，对模型的处理速度有一定的要求
• 要求高。医学图像边界模糊、梯度复杂，对算法的分割精确度要求极高
• 多模态，以ISLES脑梗竞赛为例，其官方提供了CBF,MTT,CBV,TMAX,CTP等多种模态的数据
  

二 U-Net成果及意义

• 赢得了ISBI2015
• 速度快，对一个512*512的图像，使用一块GPU只需要不到一秒的时间
• 成为大多数医学影像分割任务的baseline
• U-Net结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据），完美适用于医学图像分割

三 U-Net摘要

• 主要贡献：本文提出了一个网络和训练策略，使用数据增强，以便更有效的使用可用的带标签样本
• 网络结构：网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张路径用以精确定位
• 网络效果：该网络可以用很少的图片进行端到端的训练，处理速度也比较快
• 实验结果：以很大的优势赢得了2015细胞跟踪赛冠军

四 引言

4.1 前人工作

Ciresan等人在滑动窗口设置中训练网络，以某一像素的领域作为输入，用于预测每个像素的类别标签，网络的优点有：

网络具有局部感知能力
用于训练的样本数量远大于训练图像的数量
该网络获得了EM分割挑战的冠军

但网络有两点明显不足：

该网络运行效率很慢，对于每一个领域，网络都要运行一次，且对于领域重叠部分，网络会进行重复运算
网络需要在精确的定位和获取上下文信息之间进行权衡，越大的patch需要越多的最大池化层，这会降低定位的精确度，而小的patch使得网络获得较少的上下文信息。

4.2 本篇论文改进思路

在这篇文章中，在FCN的基础上建立了一个更加优雅的框架，使其仅使用少量训练图片就可以获得更高的分割准确率
改进思想：

• 设计了一个完全对称的u型结构，可以更好的融合图片特征
• 在上采样部分也包含大量特征通道，使网络能够将全局信息传播到更高的分辨率层
• 采用镜像输入图像的方式进行不全缺失内容
• 设计了加权损失函数

五 模型细节

5.1 U-Net的输入和输出

医学图像是一般相当大，但分割时候不可能将原图大小输入网络，所以必须切成一张张的小patch，在切成小patch的时候，UNet由于网络结构原因适合有overlap的切图，如图，黄色是待分割区域，但是在切图时要包含整个蓝色区域，overlap另一个重要原因是周围部分可以分割区域边缘部分纹理信息，如图，分割结果并没有因为切成小patch而造成分割情况不好。

5.2 加权损失

d1(x)代表图中某一背景像素点到离这个点最近的细胞边界的距离，d2(x)表示离这个像素点第二近的细胞的距离，即在细胞边界附近的像素点给的权重会大一些，离细胞比较远的像素点的权重会小一些，如果同类细胞贴的比较近，可能就会增大训练难度，减少准确率，毕竟卷积会考虑该像素点周围的一些特征，而两个相同的类的细胞贴在一起，就容易误判，所以这种两个相同类贴在一起的细胞边界，给予较大的权重，使得训练之后更准确。