眼底血管分割MICCAI 2019论文详解Multi-task Neural Networks with Spatial Activation for Retinal Vessel...

MICCAI2019论文详解Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification

论文：基于空域激活神经网络的眼底视网膜血管动静脉分割

 Wenao Ma, Shuang Yu, Kai Ma, Jiexiang Wang, Xinghao Ding, Yefeng Zheng:

Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification. MICCAI (1) 2019: 769-778

论文地址：

https://link.springer.com/chapter/10.1007%2F978-3-030-32239-7_85

https://dblp.uni-trier.de/pers/hd/z/Zheng:Yefeng.html

目录

一、概览

1.1 贡献点

1.2 方法

1.3 成果

二、背景

2.1 基于handcrafted与graph的方法

2.2 基于FCN(Fully convoution Network)的方法

2.3 本文方法

三、方法

3.1 模型架构

3.2 多输入

3.3 Spatial Activation

3.4 deep supervision

四、实验及结果

4.1 数据集及实验

4.2 Ablation studies模型简化测试

4.3 与现有方法比较

五、结论及个人总结

---

一、概览

1.1 贡献点

视网膜血管分割在疾病诊断过程中起到重要作用。本文：

• 提出了多任务的神经网络用于眼底血管分割
• 加入空域激活机制
• 自动分类眼底血管，动脉，静脉
• 不需要预先对眼底血管进行分类

1.2 方法

输入端：

引入了域知识，加入了视网膜血管的增强方法

输出端：

在输出模块引入空域激活(spatial activation)机制

引入deep supervision使得网络的浅层可以提取更具有semantic的信息。

1.3 成果

在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率

• 血管分割像素级别准确率达到95.07%
• 动静脉分割像素级别的准确率达到94.50%

二、背景

2.1 基于handcrafted与graph的方法

一般的视网膜血管分割分为两个阶段，第一个阶段分割出眼底血管，第二个阶段分割出动脉和静脉：

基于特征的分类方法：将handcrafted feature作为提取特征的依据：

• Niemeijer, M., van Ginneken, B., Abràmoff, M.D.: Automatic classification of retinal vessels into arteries and veins. In: Med. Img. 2009: Comp-Aided Diag. vol. 7260,p. 72601F (2009)
• Xu, X., Ding, W., Abràmoff, M.D., Cao, R.: An improved arteriovenous classification method for the early diagnostics of various diseases in retinal image. Comp.Methods and Prog. in Biomed. 141, 3–9 (2017)

基于graph的方法：将眼底血管构建为graph，基于节点分析和graph分析来作为分类的依据，然后将graph tree分类为动脉和静脉：

• Dashtbozorg, B., Mendon¸ ca, A.M., Campilho, A.: An automatic graph-based approach for artery/vein classification in retinal images. IEEE Trans. on Img. Process.23(3), 1073–1083 (2014)
• Estrada, R., Allingham, M.J., Mettu, P.S., Cousins, S.W., Tomasi, C., Farsiu, S.:Retinal artery-vein classification via topology estimation. IEEE Trans. on Med.Img. 34(12), 2518–2534 (2015)

这两种方法的缺点：前阶段血管分割的误差或者错误会直接导致动静脉分割表现不佳。对于handcrafted feature而言，过度依赖于血管中心线。对于graph而言，过度依赖于graph的构建。

2.2 基于FCN(Fully convoution Network)的方法

近年来，基于FCN的方法成为主流。

将FCN应用为编码器-解码器：

• AlBadawi, S., Fraz, M.M.: Arterioles and venules classification in retinal images using fully convolutional deep neural network. In: Int. Conf. on Img. Anal. And Recog. pp. 659–668. Springer (2018)

FCN方法主要对于血管宽度大于3像素点有效：

•  Meyer, M.I., Galdran, A., Costa, P., Mendon¸ ca, A.M., Campilho, A.: Deep convolutional artery/vein classification of retinal vessels. In: Int. Conf. on Img. Anal.and Recog. pp. 622–630 (2018)

缺点：现有方法容易将血管的一些像素分割为背景，特别是对于一些毛细血管分割效果较差。

2.3 本文方法

• 将血管分割与动静脉分割结合作为multi-task，两个任务的效果可以相互增强。
• 输出阶段设计了一个multi-task output block，并且加入activation机制。利用相对简单的血管分割的结果提升动静脉分割的结果。特别有利于提升毛细血管的检测结果。
• 输入模块引入了领域知识，并且加入了filter based的血管增强方法。
• Deep supervision被引入到网络早期的encoder模块，用于将low-level的特征提取出更加semantic的信息。
• 在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率

三、方法

3.1 模型架构

将原始的图像增扩为IC:illumination correction光照增强的图像，VE：血管增强图像

图像切为patches，然后送入下文所讲的深度学习架构之中，然后深度学习模型同时输出血管，动脉，静脉的分割结果。

3.2 多输入

已有的方法，引入了邻域知识。

• 引入光照补偿，对图片进行光照校正，作为图片预处理。
• 另外的，引入了样本增扩的技术，引入了Multi-scale gabor filtering与line detector，作为辅助样本。

3.3 Spatial Activation

网络结构如图：

用Unet架构，提前用Resnet预训练作为encoder。在输入之前，加入了expanding compressing层，将输入映射到高维空间，再将相应的featuremap进行压缩到3维。因此输入通道可以与resnet相符合。

神经网络可以学到更加descriminative的feature。但是神经网络如果仅仅学习动静脉分割，则会对细小毛细血管的分类效果不佳。因此，希望神经网络可以更好的从动静脉分割中提取特征。

在输出阶段，设计了两个并行的模块。第一个模块提取出动静脉分割的概率，第二个将条件概率进行融合并且生成最终的动静脉分割的结果。

为了更好的输出毛细血管，本文设计了一个激活模块：

• x为血管分割的输出结果，用此值对动静脉分割进行激活。
• σ表示激活系数
• 这样设计因为基于之前的观测，毛细血管生成的值多为0.5左右，而厚一点的血管输出值接近于1.0.
• 设计了一个gaussian函数来增强相应的值到0.5
• 因此设计一个偏置来使得相应的值被限制在

• 毛细血管的值被限制在

因此潜在的毛细血管就会被激活。

3.4 deep supervision

本文在resnet block的Encoder模块后加入了deep supervision

• 更加语义层面semantic的信息可以提升UNet的表现
• BP算法可能导致接近输入的层出现梯度消失的情况。

同时，相应的Loss函数也被设计，包括三项：二值的交叉熵，loss of deep supervision模块，weight decay regularizaiton term

• BCE表示二值的交叉熵，公式如下面所示。
• Θ表示网络的参数
• i表示第i个deep supervision模块
• c表示第c个输出模块
• 每类的权重μ，血管，动脉，静脉的系数为3/7， 2/7 ，2/7

四、实验及结果

4.1 数据集及实验

AV-DRIVE数据集包括20张训练样本，20张测试样本，像素大小为584×565像素，每个像素标注为血管和动静脉血管。

训练过程中，每个图像被分为64×64大小的patch。

测试阶段，图片按照stride为10进行切分，然后将相应的预测输出拼接。带momentum的SGD被应用，并且迭代了60000次iter，batchsize为16.

4.2 Ablation studies模型简化测试

综合实验分析被应用于模型之中，用来分析几个模块的作用。多任务MTs(Multi-task),多输入Multi-input (MIs) and 空间激活spatial activation mechanism (AC)。

本文进行了四个实验。

最好的性能就是三个模块都加上的性能。

4.3 与现有方法比较

五、结论及个人总结

将血管分割与动静脉分割结合作为multi-task，两个任务的效果可以相互增强。

输出阶段设计了一个multi-task output block，并且加入activation机制。利用相对简单的血管分割的结果提升动静脉分割的结果。特别有利于提升毛细血管的检测结果。

输入模块引入了领域知识，并且加入了filter based的血管增强方法。

Deep supervision被引入到网络早期的encoder模块，用于将low-level的特征提取出更加semantic的信息。

在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率