一种基于超像素和生成对抗网络的视网膜血管分割方法

时间：2020年11月， 作者：李孟歆, 徐睿, 张天慧, 等；

目录

1.简要说明

1.1针对的现象

1.2改进过程

1.3创新点

1.4结果：

2.涉及到的知识点

2.1（segAN）:

2.2空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)

2.3线性谱聚类超像素分割：

2.4为什么要再结合超像素？

2.5与超像素分割结合的步骤：

3.其他

3.1数据集：

3.2评价指标：

4.总结

---

1.简要说明

1.1针对的现象

针对传统视网膜图像血管分割中部分血管轮廓粗糙、血管末梢和分支细节丢失等问题，提出一种结合线性谱聚类超像素与生成对抗网络(Generative Adversarial Networks，GAN)的视网膜血管分割方法。

1.2改进过程

该方法首先对 GAN （segAN）进行改进，采用空洞空间金字塔池化模块的多尺度特征提取来提高 GAN 分割精度，在获得视网膜血管分割图像后，利用线性谱聚类超像素分割的边缘贴合性高、轮廓清晰的特点，将 GAN 输出图像映射到超像素分割图再对像素块进行分类，以达到分割的效果。

1.3创新点

（1）在基础SegAN网络中，在分割器的编码器和解码器之间增加一个 ASPP 模块

（2）在 LSC 对预处理后的图像进行图像分割时，将 SegAN 的血管分割图像同时输入，对种子点进行判别。如果该像素块种子点对应的 SegAN 输出图像上是白色的血管图像，那么该像素块输出白色，反之，该像素块输出黑色背景图像

1.4结果：

仿真实验结果表明，与传统的视网膜血管分割方法相比，该方法在灵敏度和准确性上有一定提升，轮廓边缘细节方面有着更好的效果。

2.涉及到的知识点

2.1（segAN）:

2017 年 Xue 等[13]提出了首个用于医学图像分割的对抗网络 SegAN。Seg AN 是一个端到端的网络结构，主要由分割器(Segmentor)和评估器(Critic)两个网络模型组成。分割器：Segmentor 网络模型是一个全卷积的编解码网络结构，利用 4×4 的卷积核以 2 个 Stride 进行下采样，3×3 的卷积核进行上采样，同时参考 U-Net 网络在编码器和解码器之间添加跳跃结构。评估器：Critic 网络模型与 Segmentor 网络解码器结构相似，但它的输入由 2 部分组成，第 1 个输入是原始图经过 Segmentor 的输出作为掩膜后得到的图像，第 2 个输入是原始图利用专家分割的图像进行掩膜后得到的图像。Critic 网络通过计算每个卷积层输出特征图像的 L1 损失，来获得不同分辨率像素之间的特征关系。依靠 Segmentor 与 Critic 网络间的相互对抗，分别固定轮流训练，使得对 Critic 取得最大损失，而对 Segmentor 取得最小损失。

2.2空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)

其结构可以分为：(1)3×3 的空洞卷积，空洞率分别是 0、6、12、18；(2)全局平均池化层(Image Pooling)。之后将这 5 个输出进行连接，利用一个 1×1 的卷积层减少通道数。ASPP 模块采用不同空洞比率的并行空洞卷积，对图像进行多尺度的特征提取，通过特征融合可以得到多尺度信息。

2.3线性谱聚类超像素分割：

线性谱聚类(Linear Spectral Clustering，LSC)超像素分割算法在 2017 年由陈建生等[15]提出。该算法通过研究加权 K-means 和 Ncuts 间的一致关系，使像素点 m、n 同时具有 K-means 和 Ncuts 的特点

2.4为什么要再结合超像素？

由 SegAN 处理的视网膜图像，有着较高的分割精度，但由于卷积操作，图像的轮廓信息不可避免地会有所丢失。而 LSC 超像素分割算法有着边缘贴合性高、连通性好、轮廓清晰的优点，所以，结合超像素分割较好的细节效果来对 SegAN 的分割效果进行优化.

2.5与超像素分割结合的步骤：

(1)对原始图像进行预处理；

(2)利用增加空洞卷积的 SegAN 对视网膜图像进行分割；

(3)设置种子点数量 N，对预处理后的图像进行 LSC 超像素分割，得到 N 个像素块，每个像素块会标记相同的标签 L(N)；

(4)将 SegAN 输出的黑白图像映射到超像素分割图像上，通过种子点对同标签的像素块进行分类，输出完成图像。

3.其他

3.1数据集：

DRIVE

3.2评价指标：

准确度(Accuracy，Acc)，用于衡量正确分类的像素数目占总像素数目的比例；灵敏度(Sensitivity，Se)，用于衡量正确分割的血管图像像素数目占实际血管像素数目的比例；特异性(Specificity，Sp)，用于衡量正确分割的非血管图像像素数目占非血管像素数目的比例

4.总结

本文提出一种新的视网膜血管分割方法。首先改进 SegAN，融入 ASPP 模块后扩大了网络的感受野，以便捕获多尺度图像信息。之后利用改进的 SegAN 对血管进行提取，得到了具有较高准确度的分割图像。借用线性谱聚类超像素边缘贴合性高、计算速度快、分割效果好的优点，将 SegAN 的分割结果映射到超像素分割图上，对像素块进行分类。实验证明该方法对于血管的提取与分割有着较好的效果。对于增殖型糖尿病视网膜病变图像，以及普通视网膜图像中少量细血管分支不连续性问题则需要进一步的研究。

---