糖尿病视网膜病变的深度学习系统笔记

糖尿病视网膜病变的深度学习系统笔记

论文地址：A deep learning system for detecting diabetic retinopathy across the disease spectrum

Abstract

视网膜筛查有助于早期发现糖尿病视网膜病变并及时治疗。为了促进筛查过程，我们开发了一个名为DeepDR的深度学习系统，可以检测早期至晚期糖尿病视网膜病变。DeepDR接受实时图像质量评估、病变检测和分级培训，使用121342名糖尿病患者的466247张眼底图像。评估是在一个本地数据集上进行的，该数据集包含52004名患者的200136张眼底图像，以及三个外部数据集，共计209322张图像。用于检测微动脉瘤、棉絮斑、硬渗出物和出血的受试者操作特征曲线下面积分别为0.901、0.941、0.954和0.967。糖尿病视网膜病变的轻度、中度、重度和增生性分级的曲线下面积分别为0.943、0.955、0.960和0.972。在外部验证中，分级曲线下的面积在0.916到0.970之间，这进一步支持了该系统对糖尿病视网膜病变分级的有效性。

Introduction

据估计，到2040年，大约6亿人将患有糖尿病，其中三分之一的人预计患有糖尿病视网膜病变（DR）——这是全世界在职成年人视力下降的主要原因1。轻度非增殖性DR（NPDR）是DR的早期阶段，其特征是存在微动脉瘤。增殖性DR（Proliferative DR，PDR）是DR的晚期，可导致严重的视力丧失。定期进行DR筛查非常重要，以便及时进行治疗，防止视力下降2。通过血糖和血压控制进行早期干预可以减缓DR的进展，通过光凝或玻璃体内注射进行晚期干预可以减少视力损失3。在英国和冰岛，已经进行了系统的全国DR筛查，DR不再是工作年龄成年人失明的主要原因4,5。尽管所有专业协会都建议进行常规DR筛查，但综合DR筛查并没有广泛开展6-10，面临着与人类评估人员可用性相关的挑战3,11。

中国目前是世界上糖尿病患者人数最多的国家12。2016年，国务院发布了《健康中国2030》规划纲要，进一步指导了中国卫生改革的未来方向13。《健康中国2030》概述了到2030年所有糖尿病患者都将接受疾病管理和干预的目标。在中国，大约有4万名眼科医生，与糖尿病患者的比例为1:3000。作为一项具有成本效益的预防措施，鼓励在社区一级定期进行视网膜筛查。任务转移是公共卫生界正面解决这个问题的一种方式，这样眼科医生就可以进行治疗，而不是筛查。任务转移是世界卫生组织对授权过程的命名，即在适当情况下，将任务转移给专业性较低的卫生工作者14。最近的证据表明，在接受过DR3分级培训后，医护人员可以进行筛查。然而，我们仍然面临培训不足以及他们在系统中的位置等问题。因此，需要使用深度学习算法的诊断系统来帮助DR筛查。

最近，深度学习算法使计算机能够从大型数据集中学习，在许多领域的学习能力超过了人类15–18。一些具有高度特异性和灵敏度的深度学习算法已经被开发出来，用于基于医学图像（包括视网膜图像19–23）对某些疾病进行分类或检测。目前用于DR筛查的深度学习系统主要侧重于识别可转诊DR（中度NPDR或更差）或视力威胁DR的患者，这意味着患者应转诊给眼科医生进行治疗或更密切的随访21,22,24。然而，不应忽视识别早期DR的重要性。有证据表明，在早期进行适当干预，以实现血糖、血压和血脂水平的最佳控制，可以显著延缓DR的进展，甚至可以将轻度NPDR逆转为无DR期25。

此外，由于存在一些挑战，将这些深度学习进展整合到DR筛查中并非易事。首先，有几种端到端和多任务学习方法可以共享从相关任务的卷积层提取的多尺度特征，并进一步提高基于病变检测和分割的DR分级性能，因为DR分级本质上依赖于DR病变的全局存在和分布21、22、26–28。第二，尽管有助于DR筛查，但仍有一些深度学习方法提供现场图像质量评估，延迟与实时使用兼容，这是初级DR筛查级别最需要的补充之一，并将对社区级别的筛查交付产生影响。

在此，我们描述了一个名为DeepDR（Deeplearning Diabetic Retinopathy）的基于深度学习的DR筛查系统的开发和验证，该系统是一个迁移学习辅助多任务网络，用于评估视网膜图像质量、视网膜病变和DR分级。该系统是使用真实的DR筛查数据集开发的，该数据集包含来自173346名患者的666383张眼底图像。此外，我们在14901张图像上标注了视网膜病变，包括微动脉瘤、棉絮斑（CWS）、硬渗出物和出血，并使用迁移学习29来增强病变感知DR分级性能。该系统在DR从早期到晚期的全过程检测中达到了较高的灵敏度和准确性。

Results

Data sources and network design

DeepDR是利用2014年至2017年间参与上海综合糖尿病预防和护理系统（上海综合模型，SIM）的糖尿病患者的眼底图像开发的（补充表1）。本研究共纳入了来自173346名有完整眼底检查记录的糖尿病患者的666383张眼底图像。根据世界卫生组织的DR筛查指南31，每只眼睛拍摄两张视网膜照片（黄斑和视盘居中）。每幅图像的图像质量（整体分级性、伪影、清晰度和视野）、DR分级（非DR、轻度NPDR、中度NPDR、重度NPDR或PDR）和糖尿病性黄斑水肿（DME）均被标记。此外，14901张图像被标记为视网膜病变，包括微动脉瘤、CWS、硬渗出物和出血。

在SIM队列中的173346名受试者（本研究中称为本地数据集）中，随机选择121342名受试者（70%）作为训练集，其余52004名受试者（30%）作为本地验证集（图1）。在SIM队列中，每个受试者只登记一次，并用唯一的居民ID记录。因此，保证了培训数据集和本地验证数据集之间的数据分离。研究队列中DR的患病率如表1所示。在训练数据集中，12.85%的图像有DR，其中27.94%为轻度NPDR。在200136张图像的本地验证数据集中，12.99%的图像有DR，其中27.30%为轻度NPDR。

DeepDR系统由三个子网络组成：图像质量评估子网络、病变感知子网络和DR分级子网络（图2）。训练数据集中的所有466247张图像用于训练图像质量评估子网络，以对图像是否可分级进行二元分类，并识别视网膜图像的伪影、清晰度和视野问题方面的某些质量问题；415139张无质量问题的图像用于训练DR分级子网络，将图像分为非DR、轻度NPDR、中度NPDR、重度NPDR或PDR，以及是否存在DME的二元分类。利用10280张标记有视网膜病变的图像对病变感知子网络进行训练，以实现微动脉瘤、CWS、硬渗出物和出血的检测和分割。

如图二展示，我们的DeepDR系统设计为转移学习辅助多任务网络。具体来说，DR基础网络首先在ImageNet分类方面进行预训练，然后使用415139张视网膜图像对我们的DR分级任务进行微调。接下来，我们利用迁移学习32将DR基本网络传输到DeepDR系统的三个子网络，而不是直接训练随机初始化的子网络。在迁移学习过程中，我们将预先训练好的权值固定在DR基础网络的底层，并使用反向传播。由于这些特征适用于所有与DR相关的学习任务（评估图像质量、病变分析和DR分级），因此该过程效果良好。此外，我们将病变感知子网络的分割模块提取的病变特征与DR分级子网络提取的特征连接起来，以提高分级性能。为了防止网络过度拟合，使用了提前停止准则33来确定最佳迭代次数。对于每个任务，我们将训练数据集随机分成两部分，80%的数据用于训练网络，其余用于提前停止。在训练过程中，每个历元在提前停止数据集上对网络进行测试，并记录网络的性能。如果接受者工作特性曲线（AUC）或联合交叉（IoU）增量下的面积连续5个时期小于0.001，我们停止训练，选择最佳模型作为最终模型。

Performance of the DeepDR system

使用本地验证数据集中的200136张图像，对用于评估整体图像质量和识别伪影、清晰度和字段定义问题的图像质量评估子网络进行了测试。DeepDR的整体图像质量AUC为0.934（0.929–0.938）。对于人工制品、清晰度和字段定义问题的识别，系统的AUC分别为0.938（0.932–0.943）、0.920（0.914–0.926）和0.968（0.962–0.973）。

使用4621张可分级图像和来自本地验证数据集的视网膜病变注释对病变感知子网络进行评估。结果如图3和补充表2所示。对于微动脉瘤，AUC、敏感性、特异性和F评分分别为0.901（0.894–0.906）、88.0%（87.2–88.9%）、73.3%（72.0–74.3%）和0.815。对于CWS，AUC、敏感性、特异性和IoU分别为0.941（0.9350.946）、90.0%（87.9-91.9%）、83.1%（82.2-83.9%）和0.711。对于硬渗出液，AUC、敏感性、特异性和IoU分别为0.954（0.949–0.957）、90.5%（88.9–91.5%）、85.8%（85.2–86.6%）和0.971。对于出血，AUC、敏感性、特异性和IoU分别为0.967（0.965–0.969）、93.2%（92.6–94.1%）、88.0%（87.6–88.7%）和0.738。病变感知子网络通过遮盖眼底图像来突出病变区域（图3B）。为了便于在临床环境中使用，可以为每个患者自动生成临床报告（补充图1中显示的示例报告）。本报告显示了突出显示病变的原始眼底图像，描述了视网膜病变的类型和位置以及DR分级。此外，我们进行了一项实验，通过测量病变感知子网络对社区卫生服务中心受过培训的初级卫生保健工作者的分级准确性的影响，来评估病变感知子网络的效用。详细的研究设计见补充资料（“补充方法”一节）。采用单侧双样本Wilcoxon符号秩检验对结果进行检验，如表2所示。在DeepDR系统的帮助下，所有DR分级的敏感性和重度DR的特异性均显著提高。这表明视网膜病变的视觉提示显著提高了初级保健工作者的诊断准确性，这有助于DR筛查的任务转移。

DeepDR系统基于对视网膜病变的精确检测，实现了DR从早期到晚期的全过程诊断，对微动脉瘤尤其准确。在本地验证数据集中，178907张可分级图像用于测试DR分级子网络，结果如表3所示。对于每只眼睛的两张图像，我们的DR分级子网络对每张图像进行单独的预测，然后我们接受从这些图像中获得的更严重的DR分级作为该眼睛的分级结果，用于计算DR分级的AUC。DR分级的平均AUC为0.955。特别是对于轻度NPDR，AUC、敏感性和特异性分别为0.943（0.940-0.946）、88.8%（87.7-89.7%）和83.9%（83.7-84.1%）。对于二甲醚，AUC为0.946（0.945–0.947），敏感性为92.8%（92.4–93.1%），特异性为81.3%（81.0–81.6%）。

External validation

为了测试系统的通用性，我们使用两个独立的真实队列和可公开访问的数据集EyePACS进行外部验证，进一步评估了DeepDR的性能。第一个队列是中国国家糖尿病并发症研究（CNDCS）队列，包括来自23186名糖尿病患者的92672张眼底图像，于2018年获得。第二个队列是尼城糖尿病筛查项目（NDSP）队列，包括6987名65岁以上老年受试者的27948张眼底图像，于2018年获得。在NDSP队列中，糖尿病患病率为31.7%。EyePACS数据集是一个来自美国的公开数据集，由88702张眼底图像组成。

DR分级结果如表3所示。在CNDC中，DeepDR系统实现了轻度NPDR的AUC为0.916（0.912–0.920），中度NPDR的AUC为0.927（0.925–0.929），重度NPDR的AUC为0.962（0.959–0.965），PDR的AUC为0.955（0.949–0.961）。在NDSP和EyePACS数据集中，DR分级的平均AUC分别为0.944和0.943。该系统对轻度NPDR的AUC较高，NDSP和EyePACS数据集的AUC分别为0.929（0.916–0.942）和0.937（0.935–0.939）。

Real-time image quality feedback

我们使用DeepDR对来自NDSP队列（年龄超过65岁）的1294名老年受试者进行非水样视网膜摄影时提供实时图像质量反馈。每只眼睛拍摄两张视网膜照片（以黄斑和视盘为中心）。如果DeepDR确定某个区域的第一张图像的质量不可测量，则会重新捕获同一区域的第二张图像。每个场地只多拍了一张照片，以避免因闪光灯而收缩的学生。

结果如表4所示。在这个过程中，最初从1294名患者身上获取了5176张视网膜图像。其中，1487张图像（28.7%）被认为是低质量的，存在伪影、清晰度和/或视野清晰度问题。根据反馈信息，为这些患者拍摄了第二张照片。在1487张最初的低质量图像中，1065张（71.6%）重新捕获的图像具有足够的质量。在用重捕获图像替换低质量图像后，每个级别DR的诊断准确率都得到了提高。尤其是对于轻度NPDR，AUC从0.880（0.859–0.895）增加到0.933（0.918–0.950）（P<0.001），敏感性从78.5%（72.7–83.4%）增加到87.6%（83.2–92.3%）。

Discussion

DeepDR系统在DR分级中实现了高灵敏度和特异性。它不仅生成DR分级，还提供视觉提示，帮助用户识别不同病变类型的存在和位置。在DeepDR中引入图像质量子网络和病变感知子网络提高了诊断性能，并更密切地遵循了眼科医生的思维过程。DeepDR可以在具有平均性能处理器的标准个人计算机上运行。因此，提高DR筛查的可及性和效率具有巨大潜力。

之前的几项研究使用深度学习方法对可参考或视觉威胁DR检测进行了检测。Gulshan等人使用9963张眼底图像测试了他们的深度学习系统，并在可参考的DR（AUC=0.99）21中取得了高水平的性能。Ting等人使用71896张图像评估了他们的深度学习系统，并报告了可参考和威胁视力的DR的良好结果（AUC分别为0.936和0.958）22。Li等人在一个包含35201张图像的真实多民族数据集中验证了他们的深度学习系统，并在视觉威胁方面实现了0.955的AUC DR24。尽管这些研究取得了极好的准确性，但他们只关注那些有可转诊DR的患者，这些患者随后被转诊接受专业眼科护理。然而，轻度DR被归类为不可逆DR，与无DR的受试者没有区别21,22,24。

早期DR检测的价值被低估了，因为几乎没有证据表明在此阶段需要进行眼科治疗，如光凝或抗VEGF药物2。此外，如果所有的DR病例都被转介给眼科医生，它很可能会压倒我们的医疗系统。然而，从糖尿病管理的角度来看，轻度DR的筛查具有重要的临床意义，可能会改善患者的预后。首先，识别轻度DR患者有助于健康提供者，如家庭医生、全科医生和内分泌学家，参与患者的血糖、血脂、血压和其他风险因素的教育和管理2。其次，目前还没有已知的治疗晚期DR的方法，泄漏、缺氧和血管生长造成的一些损害是永久性的34。但有证据表明，最佳的血糖和血压控制与轻度DR向无DR状态的回归密切相关25，而强化的血糖和血脂控制降低了向视力威胁型DR35的进展速度。第三，轻度DR筛查为临床决策提供了有价值的信息。尽管强化血糖控制降低了光凝的发生率，但它增加了严重低血糖的风险，并通过多种药物、副作用和成本增加了额外负担36。最佳的血糖目标是有争议的。美国医师学会指南37将糖化血红蛋白水平7–8%设定为大多数糖尿病患者的最佳目标，而美国糖尿病协会指南38将糖化血红蛋白目标设定为6.5–7.0%。轻度DR患者可以从严格的血糖控制中获益39。因此，轻度DR的检测可以促进个性化糖尿病管理。

精确检测微动脉瘤仍然是深度学习系统的一个问题40。在本研究中，为了提高检测特定视网膜病变和DR分级的性能，我们引入了一个基于ResNet的高效视网膜病变感知子网络，避免了梯度消失的问题，与其他现有网络架构（例如VGG和 Inception)。病变感知子网络包含特征金字塔结构，旨在捕获多尺度特征并挖掘病变类型和位置之间的关系42。同时，在我们的研究中使用了转移学习，病变感知子网络包含重新利用的DR基础网络层，这些层由415139张视网膜图像的基础DR分级数据集预先训练。通过从已经学习的DR分级任务中转移知识，这提高了学习病变检测和分割的性能。因此，DeepDR系统在病变检测方面的AUC为0.901–0.967，包括微动脉瘤、CWS、硬渗出物和出血。视网膜病变的检测和分割具有重要的临床意义。检测不同类型的视网膜病变可以为临床决策提供指导。例如，非诺贝特可能有益于难治性视网膜脱离患者43，对于视网膜出血患者应谨慎使用抗血小板药物44。更重要的是，DR筛查中的一个主要问题是检测变化或进展，因为视网膜病变的进展表明正在发生威胁视力的DR/DME45-47。由于DR进展不仅可以在不同DR级别之间检测到，甚至可以在同一级别内检测到，我们的病变感知子网络有可能通过对DR患者的随访来捕捉某些类型视网膜病变的微小进展。需要进一步的研究来评估在现实世界的临床环境中的应用。

在以前的研究中，深度学习系统通常是从原始眼底图像直接端到端地训练到DR分级21、22、24的标签，由于深度学习的黑盒性质，这些端到端系统可能无法编码病变特征48。在我们的研究中，我们引入了一个有效的病变感知子网络，以提高捕获病变特征的能力，而不是从眼底图像到DR分级的直接端到端训练。由于将先验知识嵌入到端到端机器学习算法中可以调节机器学习模型并缩小搜索空间49，眼科医生根据病变的存在读取眼底图像，我们的DR分级网络可以利用病变特征作为先验知识来提高DR分级的性能。之前的研究，如Michael D.Abrámoff等人的工作50，使用多个CNN检测出血、渗出和其他病变，检测到的病变结果被用于通过经典特征融合模型对可参考的DR进行分类。不同的是，我们的DeepDR网络使用从病变感知子网络和原始图像中提取的特征进行端到端训练。通过这种方式，我们的DR评分子网络可以进一步利用这些特征来最小化训练误差，从而提高评分结果。因此，在本地验证数据集上，DeepDR对轻度NPDR检测的敏感性为88.8%，特异性为83.9%。值得注意的是，DeepDR在真实数据集中以足够的准确性实现了DR所有阶段的诊断。

尽管数字眼底相机不断优化，但由于操作不当导致的老化、经验、照明和其他非生物因素仍然会导致高比例的低质量眼底图像，重新获取耗时，有时是不可能的51,52。先前关于图像质量评估的研究主要集中于事后图像数据处理21,22。在本研究中，实施了实时图像质量反馈子网络，以便于DR筛查。基于反馈信息，人工智能辅助的图像质量评估可以将图像质量差的比例从28.7%降低到8.2%。此外，随着图像质量的提高，诊断准确率显著提高，尤其是轻度DR。这种实时图像质量反馈功能允许操作员识别图像立即出现质量问题，患者无需被召回。这是一种很有希望的工具，可以降低眼底图像的不可分辨率，从而提高DR筛查的效率。

本研究的局限性在于，首先，用于开发该系统的单一种族群体。然而，我们使用美国公开的EyePACS数据集进行外部验证，并获得了令人满意的敏感性和特异性。其次，由于外部队列中缺乏病变注释，病变感知子网络仅在本地验证数据集上进行测试。需要在多民族和多中心队列中进行进一步的外部验证，以确认DeepDR系统的病变检测和DR分级的稳健性。

总之，我们开发了一个自动化、可解释且经验证的系统，该系统可执行实时图像质量反馈、视网膜病变检测和早期至晚期DR分级。通过这些功能，DeepDR系统能够提高图像采集质量，提供临床参考，并促进DR筛查。需要进一步的研究来评估深度学习系统在检测和预测DR进展方面的作用。

Methods

Ethical approval

该研究由上海市第六人民医院伦理委员会批准，并根据《赫尔辛基宣言》进行。获得参与者的知情同意。该研究在中国临床试验注册中心（ChiCTR.org.cn）注册，注册号为ChiCTR2000031184。

Image acquisition and reading process

在SIM项目中，使用佳能、Topcon和蔡司的台式视网膜相机拍摄视网膜照片（补充表1）。所有眼底摄像头均由主办方鉴定，以确保DR分级的质量。摄像机的操作人员都接受了标准培训，图像由一个由133名认证眼科医生组成的中心阅读小组读取。阅读小组的成员接受了眼底专家的培训，并通过了测试。原始视网膜图像被上传到在线平台，每只眼睛的图像分别分配给两名授权眼科医生。他们使用在线阅读平台标记图像，并对DR进行分级诊断（补充图2）。当诊断结果相互矛盾时，担任高级主管的第三位眼科医生予以确认或纠正。最终的分级结果取决于这三位眼科医生的一致性。至少20%的评分结果将被随机重读，以检查一致性。抽查总合格率≥90%。如果阅读小组遇到疑难病例，他们可以向上级医疗机构申请咨询。SIM数据集中的总体不一致率为18.9%。诊断差异的主要原因是轻度NPDR和非DR之间的决定。

对于视网膜病变注释，每个眼底图像由两名眼科医生注释。对于每种类型的病变，两名眼科医生分别生成了两个病变注释。如果两个注释之间的IoU大于0.85，我们认为这两个注释是有效的。否则，高级主管会检查注释并给出反馈以提供指导。两位眼科医生将对图像进行重新注释，直到IoU大于0.85。最后，我们将有效注释的并集作为最终的地面真值分割注释。

Diagnostic criteria

根据国际临床糖尿病视网膜病变严重程度量表（AAO，2002年10月）53，DR严重程度分为五个级别（分别为非DR、轻度NPDR、中度NPDR、重度NPDR或PDR）。轻度NPDR被定义为仅存在微动脉瘤。中度NPDR的定义不仅仅是微动脉瘤，而不是重度NPDR，表现为CWS、硬渗出物和/或视网膜出血。重度NPDR定义为以下任何一种情况：4个象限中的每个象限都有20多个视网膜内出血；2+象限内有明确的静脉串珠；1+象限出现显著的视网膜内微血管异常（IRMA），没有PDR迹象。PDR被定义为以下一种或多种疾病：新生血管、玻璃体/视网膜前出血53。根据糖尿病视网膜病变早期治疗研究54的标准，如果在黄斑中心500μm范围内检测到硬渗出物，则诊断为DME。可参考的DR被定义为中度NPDR或更严重，DME，或两者兼而有之。根据《中国糖尿病视网膜病变筛查图像采集和解释指南》55，图像质量按照表5所列的三个质量因素、伪影、清晰度和视野定义56定义的标准进行分级。总分等于清晰度得分加上字段定义得分，再减去工件得分。总分低于12分被视为不可分级。

The architecture of the DeepDR system.

DeepDR系统有三个子网络：图像质量评估子网络、病变感知子网络和DR分级子网络。这些子网络是基于ResNet41和Mask-RCNN57开发的。ResNet和Mask-RCNN都可以分为两部分：（1）特征抽取器，将图像作为输入和输出特征；（2）任务特定头，将特征作为输入并生成任务特定输出（即分类或分割）。具体来说，我们选择使用具有相同特征提取器架构的Mask RCNN和ResNet，因此一个子网络的特征提取器可以轻松地转移到另一个子网络。

质量评估子网络可以识别输入图像的整体质量，包括可分级性、伪影、清晰度和现场问题。为了有效地训练图像质量评估子网络，我们使用在ImageNet上预训练的权重初始化了一个ResNet，并对ResNet进行预训练以形成DR基础网络。我们利用预先训练好的DR基本网络中卷积层的权重来初始化图像质量评估子网络的特征提取器。我们从多个因素来评估图像质量，以确定：（a）伪影覆盖了黄斑区或伪影面积大于视网膜图像的一个象限；（b） 只有II级或更宽的血管弓和明显的病变可以被识别（II级血管弓被定义为起源于第一分支的静脉）；（c） 图像中没有视盘或黄斑；（d）图像不可分级。

损伤感知子网络可以生成输入图像的损伤存在和损伤分割模板。在我们的lesionaware子网络中有两个模块：一个是病变检测模块，另一个是病变分割模块。病变检测模块是一个二元分类器，用于预测视网膜图像的象限中是否存在任何种类的病变，如补充图3所示。病变分割模块生成遮罩图像，以识别视网膜图像中存在的不同病变，如图3B所示。我们分别使用ResNet和Mask-RCNN构成病变检测模块和病变分割模块。然后，通过使用预先训练的DR基本网络的特征提取器初始化病变检测模块的特征提取器，然后微调病变检测模块，将预先训练的DR基本网络传输到病变检测模块。然后，通过重用病变检测模块的特征提取器，初始化病变分割模块的特征提取器。然后固定病变分割模块的特征提取层，并在训练期间更新模块的其余层。在我们的病变分割子模块中使用非最大抑制，从多个预测边界框中选择客观评分最高的边界框。具体来说，我们首先选择了客观得分最高的边界框，然后将该边界框的IoU与其他边界框进行比较，并移除IoU>0.5的边界框。最后，我们移动到下一个客观得分最高的框，并重复，直到所有框被移除或选中。

DR分级子网络可以融合病变感知网络的特征，并生成最终的DR分级结果。为了尽可能多地保留原始视网膜图像中的病变信息，我们将预先训练好的DR基本网络与病变分割模块的特征提取器相结合，以获取更详细的病变特征，用于DR分级。然后固定DR分级子网络抽取器中的权重，并在训练过程中更新子网络的分类头。

转移学习辅助多任务网络是在我们的DeepDR体系结构中开发的，用于改进基于病变检测和分割的DR分级性能。由于DR分级本质上依赖于包含多尺度局部纹理和结构的视网膜病变的全局存在，我们的多任务学习方法的中心特征被设计为提取编码视网膜病变局部纹理和结构的多尺度特征，其中转移学习被用于提高DR分级任务的性能。同时，我们在病变感知子网络中使用了硬参数共享，并且ResNet和Mask-RCNN的特征抽取器中的所有层都是共享的。由于病变分割标签的数量有限，使用硬参数共享对于降低过度装配的风险非常重要58。此外，共享预先训练好的权重可以方便地训练病变检测任务和病变分割任务。补充表3显示了额外的实验结果表明，硬参数共享优于软参数共享用于病变分割。

Recommended computer configuration

任何配备x86兼容CPU、10 GB或更多可用磁盘空间以及至少8 GB主内存的台式机或笔记本电脑都可以运行DeepDR系统。运行该软件不需要专门的硬件要求，包括GPU或任何加速卡。一台具有更多CPU内核和GPU的功能强大的计算机将显著加快诊断过程，而在典型笔记本电脑上的诊断时间（即，使用Intel I3处理器，没有GPU，超过8 GB内存）也是可以接受的（每张图像的诊断时间小于20秒）。

Statistical analyses

通过绘制灵敏度（真阳性率）与1-特异性（假阴性率）的对比曲线，测量DeepDR在评估图像质量、视网膜病变检测和DR分级方面的性能。使用尤登指数选择敏感度和特异性的操作阈值。使用双正态模型方法59比较AUC，其中双侧P值小于0.05被认为具有统计学意义。对于病变检测，AUC作为二元分类进行计算，以确定象限是否包含某种病变。通过IoU和Fscore测量病变分割的性能。

对于CWS、硬渗出物和出血，我们使用IoU来衡量分割网络的性能。借据计算如下：

其中A和B是视网膜图像中的一组像素（例如，A是分割的病变，B是基本事实）。

对于微动脉瘤，使用F评分代替IoU评分，因为视网膜图像中微动脉瘤的平均直径通常小于30像素，预测图中的微小变化将导致IoU评分的较大变化。F分数计算如下：

**kaggle数据集–EyePACS **： https://www.kaggle.com/c/diabetic-retinopathy-detection/data

系统代码：https://zenodo.org/badge/latestdoi/334570111