〖医学图像处理：青光眼眼底图像系列论文〗（2）：从眼底图像中筛查青光眼的盘感知集成网络

论文：Disc-aware Ensemble Network for Glaucoma Screening from Fundus Image

1 Introduce

• 青光眼是一种导致不可逆视力丧失的慢性眼病。临床上，有三种检查用于筛查青光眼:眼压测量、基于功能的视野测试和视神经乳头(ONH)评估。
• 眼压是一个重要的危险因素，但其特异性不足以成为大量眼压正常的青光眼患者的有效检测工具。
• 基于功能的视野检查需要专业的视野检查设备，而这些设备在初级卫生诊所中通常是不存在的，而且，早期青光眼往往没有视觉症状。
• ONH评估是早期检测青光眼的一种方便方法，目前由训练有素的青光眼专家广泛实施。
• 由训练有素的临床医生进行手动ONH评估既耗时又昂贵。因此，自动方法对于筛选是必要的。一种流行的ONH评估方法是基于临床参数的测量，例如垂直杯盘比(CDR) ，边缘盘面积比和盘直径。其中CDR被临床医生很好的接受并普遍使用。如图1的顶行所示，通过垂直杯直径(VCD)与垂直盘直径(VDD)的比率来计算CDR。一般来说，较大的CDR表明青光眼的风险较高，反之亦然。
  

图1

• 现有的自动筛选方法大多是先对主体结构进行分割，然后计算临床测量值，用于青光眼的检测和筛选。然而，这些基于测量的方法严重依赖于分割精度，并且忽略了各种视觉特征。本文介绍了一种深度学习技术，用于获取额外的图像相关信息，并直接从眼底图像中筛选青光眼。具体而言，提出了一种新的用于自动青光眼筛查的盘感知集成网络(DENet)，其集成了全局眼底图像和局部视盘区域的深层分层背景。四个不同层次和模块的深度流，分别是全局图像流、分段引导网络、局部盘区流和盘极变换流。最后，融合不同流的输出概率作为最终的筛选结果。

2 Method

• 针对眼底图像的青光眼筛查网络，包括以下几个方面:
  （1）视盘感知:青光眼是一种通常与眼压升高有关的眼病，它会损害视神经(视盘)。因此，主要临床症状出现在视盘区域。基于此，建议的网络应突出视盘区域的上下文信息。
  （2）多层次:大多数现有的深度学习网络直接关注全局图像，并采用汇集层来实现分层表示。基于深度学习的方法的一个常见限制是需要将输入图像下采样到低分辨率(即，224×224)，以便网络大小在计算上是可管理的。然而，这种下采样会导致图像细节的丢失，而这些细节对于辨别细微的病变是很重要的。相比之下，局部区域比例保留了精细表示，但忽略了全局结构信息。因此，结合本地和全局环境可以有效地提高性能。
  （3）多模块:在临床试验中，经常使用精细测量来评估疾病指标。几何变换可以改变病理区域的形态并增强检测变化。一个很好的例子是视盘和视杯分割，其中使用极坐标变换来平衡区域比例并提高视杯分割性能。
• 我们考虑的是几何变换是否能提高筛选性能。为了解决这些问题，提出了一种新的用于自动青光眼筛查的视盘感知集成网络(DENet)，它包含对应于眼底图像的不同级别和模块的四个深层流。如图2所示。
  （1） 第一种是全局图像流，它在图像级别上表示全局眼底结构，并直接作为眼底图像的分类。
  （2）第二种是分割引导网络，它从整个眼底图像中检测视盘定位，并嵌入视盘分割表示以在图像水平上检测青光眼。
  （3） 第三个流基于本地盘区域，其从盘区域级别产生筛选概率。
  （4）第四个流聚焦于具有极性变换的盘区域，这通过几何操作放大了盘和杯的结构，并提高了筛选性能。
  （5） 最后，这些深层流的所有输出被组合以获得最终的筛选结果。

Pipeline：

图2

3 DENet架构

DENet考虑了眼底图像信息的两个层次，即全局图像和局部盘区域（每个层次分别使用两个流）。全局图像级别提供了粗略的结构表示在整个眼底图像上，而利用局部视盘区域来学习视盘周围的精细表示。如图3所示。

图3

• Global Fundus Image Level
  （1）第一流是通过使用残差网络(ResNet) [30]的标准分类网络。ResNet是基于卷积神经网络，并引入了快捷连接来处理非常深的网络中的消失梯度问题，如图3 (b)所示。我们利用ResNet-50作为主干模型，直接学习整个眼底图像的全局表示，它由5个下采样块组成，后跟一个全局最大池层和一个用于青光眼筛查的全连接层。该流的输入图像被调整到224×224，以便能够使用预训练模型作为我们网络的初始化。
  （2）第二个全局级流是分割引导网络，其定位视盘区域并基于盘分割表示产生检测结果。如图3 (a)所示，分割引导网络的主要结构由U形卷积网络(U-Net)适配，该网络是用于生物医学图像分割的高效全卷积神经网络。类似于最初的U-Net架构，我们的方法由编码器路径(左侧)和解码器路径(右侧)组成。每个编码器路径执行带有滤波器组的卷积层，以产生一组编码器特征映射，并且利用元素方式的校正线性非线性激活函数。解码器路径还利用卷积层来输出解码器特征图。跳过连接从编码器路径传输相应的特征映射，并将它们连接到向上采样的解码器特征映射。最后，分类器利用1 × 1卷积层和Sigmoid激活作为像素级分类来产生圆盘概率图。而且我们从U型网络的鞍层扩展了一个新的分支，其中规模最小(即40×40)，通道数最多(即512-D)。扩展分支作为一个隐式向量，具有平均池和平坦层。接下来，它连接两个完全连接的层，以产生青光眼分类概率。该流水线通过卷积滤波器在U形网络的解码器路径上嵌入分段导向表示。该流的输入图像被调整到640×640，这保证了图像具有足够的细节来精确定位盘区域。
• Optic Disc Region Level
  它是基于以前的分段导向网络裁剪的本地盘区域，本地盘区域以更高的分辨率保存更详细的信息，并且有利于学习精细的表示。在我们的网络中使用两个本地流来学习本地盘区域上的表示。
  （1）第一个是基于原始本地盘区域上的ResNet 的标准分类网络。
  （2）第一个流集中于盘极变换。

4 DataSet

• 训练集：ORIGA数据集，它包含来自不同眼睛的650幅眼底图像，包括168只青光眼眼睛和482只具有视盘边界人工地面真实度的正常眼睛。
• 测试集：SCES数据集，由46个青光眼病例的1676幅图像组成；SINDI数据集，共有5783个眼睛图像，包括113只青光眼眼睛和5670只正常眼睛。

5 Conclusion

• 我们的整个框架是用基于Keras的Python实现的，带有Tensorflow后端。我们的系统中的四个流是根据不同的数据增强策略分别训练的，这是由于三个原因:1)盘局部流是基于全局图像流的盘检测结果。2)单独的训练阶段便于向集成网络中添加新的流。3)单独的训练阶段可以针对不同的流采用不同的训练数据集和配置。
• 流分析:对于我们的DENet的每个流，在全局图像级别上的性能低于在本地盘区域上的性能。
• 使用平均来集成四个流的输出。不使用加权和来集成流，因为平均操作是一种没有任何先验信息的简单有效的方法。
• 多个级别和模块有利于合并分层表示，而盘感知约束保证来自视盘区域的上下文信息用于青光眼筛查。
• 在测试中，我们的DENet仅花费0.5秒来生成一幅眼底图像的最终结果，包括椎间盘定位和青光眼筛查，这比现有的基于测量的方法更快
• 高灵敏度性能

6 Paper and code links

paper:论文链接
code:代码链接