针对 Head and Neck(HaN) CT images
数据集来源:非公共数据集 和 MICCAI Head and Neck Auto Segmentation Challenge 2015 dataset
创新点:对小器官额外使用一个定位和分割网络,和大器官的分割结果整合,解决器官大小尺度不一问题,提升整体分割效果。
包括主题网络S-Net, 小目标定位网络SOL-net, 小目标分割网络SOS-Net.
S-Net 为改进的U-Net 如下所示:
Loss 采取Focal loss 和 Dice loss.
任务:brain tumor segmentation(3D)
数据集来源:BRATS 2018 dataset
具体要求:区分brain tumor的whole tumor (WT), tumor core (TC) 和 enhancing tumor (ET). 这三个区域具有典型层次关系,WT 包含TC, TC又包含ET。
Cascaded attention 模块很好的利用了分割任务的层次关系
对应的attention map M, 通过下式进行可视化:c代表channel, 即通过L2-norm得到average pixel-wise activation。
每个branch的网络结构如下:
类U-Net结构,中间多加了Feature Bridge 模块。
Loss 采用multi-class soft Dice Loss和Focal Loss组合形式
任务:Brain Stroke Lesion Segmentation
数据集:Anatomical Tracings of Lesions After Stroke (ATLAS) dataset
网络结构如下:
具体实现包括嵌入Depthwise Separable Convolution, 加入FSM模块(类似Non-Local)等
分割效果对比如下:
数据集同 3.
网络结构如下:
创新点包括:
(1)使用Cross-Level feature Fusion (CLF) 策略(dense/密集连接策略)融合multi-scale 特征.
(2)CLF策略进一步拓展了ASPP。 即在原来ASPP5个分支的基础上又增加了4个分支,对应前面的各级融合后的multic-scale特征。
(3)用ConvLSTM替换了传统U-Net 在decoder 部分 high-level特征与encoder 传来的 low-level特征 简单concate的融合方式。
任务:punctate white matter lesion (PWML) segmentation
数据集来源:非公共数据集
该病特点:病灶非常小
Mask-rnn架构-----Two-Stage 方法,先检测再分割
H-RPN网络抽取特征图生成一系列包含周围信息的ROIs,送入network head, head借助周围信息进行class和box的修正,然后将修正后的ROIs送入LRS-Net 进行病灶分割。
因为病灶太小,H-RPN网络使用ReLU加强对True Positive 区域的提取;扩大了box的大小从而包含周围信息,降低box预测偏差,也有利于后续修正;同时因为正样本太少,缩小了proposal的数量,避免正负样本过度不平衡。
LRS-Net 中使用Dense CRF修正分割图。
不同方法分割效果对比如下:
任务:Intervertebral Disc(IVDs) Localization and Segmentation
数据集来源:MICCAI 2018 IVDM3Seg Challenge dataset
网络结构如下:
Multi-Resolution Path CNN with deep supervision(MRP-DSN)
每个路径分支独立负责一个resolution的预测,并配有对应resolution的Ground Truth 加以监管,彼此不互相干扰,使得训练更有效,也不易陷入相同的局部极小值,最后融合到一起给出最终预测。
(具体实现包括Denseblock模块, ASPP模块等)
预测效果如下:
Gland Instance segmentation
分割医学图像数据来源:2015 MICCAI Gland Segmentation (GlaS) Challenge dataset 和 colorectal adenocarcinoma gland (CRAG) dataset
数据如下所示:
分割网络:
DSE model
DSE model = Segmentation Network + Emendation Network
Segmentation Network 进行正向预测,得到分割预测
Emendation Network 进行反向预测,即预测出错的部分
在train阶段,SN网络逐步学习提升分割能力,EN学习提升检测错误的能力。二者都受相应Ground Truth监管。
EN网络的Ground Truth由SN网络给出分割预测图和分割的Ground Truth 对比得到,具体定义如下:
通过训练,EN网络逐步具备预测出错部分的能力。
在test阶段,SN网络给出预测后,EN网络给出出错部分,进行修正,refine后的分割图为最终分割结果。具体的:SN网络给出的预测在EN网络的预测指导下修正错误。即:如果Ei=0, 代表预测正确,无需修正;如果Ei=1,代表预测范围小了,当前点也属于分割区(对应上述第二个if),所以将该点修正为1;如果Ei=2, 代表预测范围大了,当前点不属于分割区,所以将该点修正为0。
预测效果和其他方法对比如下:
Seg-Net的训练采用cross-entropy loss。
Eme-Net的训练因为存在严重类别不平衡问题,采用multi-class Dice loss 和cross-entropy (ce) loss 结合的方式(Dice loss 可以缓解类别不平衡问题)。
测试任务和数据包括:
1.Optic Disc and Cup Segmentation in Retinal Images
the REFUGE1 dataset 和 the Drishti-GS dataset
2.Vessel Segmentation in Retinal Images
DRIVE dataset
3.Lung Segmentation in X-Ray Images
Montgomery County (MC) dataset
4.Lung Segmentation in CT Images
The Lung Nodule Analysis (LUNA) competition dataset
两个预测模块的Loss 均采用Lovasz-Softmax loss (对于类别不平衡问题,该loss的表现比cross entropy loss 要好)
任务:polyp segmentation
数据集来源:the EndoScene dataset
网络结构采用1个encoder, 2个decoder,分别预测area 和 boundary,从而提升整体息肉分割效果。
创新点:
(1)在U-net 结构上加入Up-Concatenations(图中斜向上的红线)。捕获multi-level 特征。
(2)encoder 和 decoder 内嵌入SKM(Selective Kernel Module)模块。融合multi-scale 特征。
(3)Loss 的设计。loss 由4部分组成。如下所示:
La 为 area loss,由 binary cross-entropy loss 和 dice loss组成。
Lb 为boundary loss, 是 binary cross-entropy loss
LC1和LC2为Area-Boundary Constraint Loss。LC1最小化通过area推断出的boundary 和对应Ground Truth的差异,是binary cross-entropy loss;LC2最小化通过area推断出的boundary 和boundary 分支给出的结果之间的差异,以保证内部一致性,是K-L divergence loss。