论文解读：《开发和验证深度学习系统对黄斑裂孔的病因进行分类并预测解剖结果》

文章链接：https://bjo.bmj.com/content/early/2021/08/03/bjophthalmol-2021-318844.abstract
DOI：http://dx.doi.org/10.1136/bjophthalmol-2021-318844
期刊：Clinical science（二区）
影响因子：6.124
发表时间：2021 年 7 月 23 日接收

1.文章概述

开发一种深度学习（DL）模型，用于自动分类黄斑孔（MH）Aetiology（特发性或次要），以及在1个月内可靠地预测MH状态（关闭或打开）的多模式深融合网络（MDFN）模型玻璃体切除术和内部限制膜剥离（Vilmp）。
有330 MH的眼睛具有1082个光学相干断层扫描（OCT）图像和3300个从四个眼科中心注册的临床数据，用于训练，验证和外部测试DL和MDFN模型。从三个中心的266只眼睛被患者随机分裂成训练集（80％）和验证集（20％）。在外部测试数据集中，剩下的中心包括64只眼睛。所有眼睛都在基线和vilmp后1个月内接受黄斑OCT扫描。接收器操作特性曲线（AUC）下的区域，准确性，特异性和灵敏度用于评估模型的性能。
在外部测试组中，MH Aetiology分类模型的AUC，ACC，SP和SN分别为0.965,0.950,0.870和0.938;术后MH状态预测模型的AUC，AUC，ACC，SP和SN分别为0.904,0.825,0.977和0.766;术后发作性MH状态预测模型的AUC，ACC，SP和SN分别为0.947,0.875,0.815和0.979。

2.背景

黄斑孔（MH），FOVEA的神经病症视网膜组织的全厚度缺陷，是中央视觉劣化的原因之一。MH可根据病因学分为两类，特发性MH（IMH）的病因尚不清楚，而二次MH（SMH）是由高近视和创伤等已知的疾病引起的。 imh是最常见的mh。据估计，44岁以上的人口0.1％-0.8％，近三分之二的IMH患者是女性。IMH开发被认为是中央黄斑的病理培养物牵引力随着渐进视觉损伤和成像，通常需要手术干预.6玻璃切除术和内部限制膜剥离（Vilmp）有效治疗全厚IMH，成功率为80％-95％。但IMH在常规后仍然开放例如，vilmp在某些情况下。例如，据报道，在首次手术后，高达44％的大型MHS仍然是开放的。在初始手术后开放的患者，第二次手术通常是强制性的。然而，第二次手术是通常与较高的医疗成本相关，并且较少有前景的视觉结果。SMH通常由高近视和钝性眼外伤引起的，SMH的发病机制更复杂和成功率初始修复低于IMH的初始修复，因此，识别IMH和SMH是重要的，并在手术规划期间初始修复后预测术后MH状态。
光学相干断层扫描（OCT）已被广泛用于MH的诊断和预后评估IMH可能从SMH，尤其是高近视的SMH，尤其是继发于高近视的诊断，特别是OCT特征用于预后评估，一些OCT参数已被确定为与MH手术结果相关的因素。这些因素包括MH（MIN）的最小直径，MH（BASE）的基础直径，孔形状因子（HFF），黄斑孔指数（MHI），三发孔指数（THI）和直径孔指数（DHI）。但是，许多以前的研究主要集中在一个OCT参数的预测能力上。
深度学习（DL）是一种新兴人工智能技术，已成功应用于各种领域，如图像识别和分类。卷积神经网络（CNN），最受欢迎的DL模型之一，采用多个卷积层自动识别和提取特征表示。最近基于CNN的DL模型使用超广域眼底图像自动检测IMH。除了CNN之外，多模式深度融合网络（MDFN）是一种利用多式联数据综合信息的重要技术。临床科学由不同的单向DL模型提取。多模式数据的不同特征集可以由MDFN融合，以提高DL Modows的性能，给出了MH的外科结果受到形态因素的影响（如术前黄斑OCT参数）和其他临床因素的影响（如MH的持续时间），MDFN通过组合这些因素的信息来潜在有助于预测术后MH状态。
目前的研究旨在开发基于黄斑OCT图像的MH病毒自动分类的DL模型，以及使用术前OCT图像和其他临床数据自动预测Vilmp手术后的MH状态。WE还将MDFN模型与单峰模型的性能进行了比较。

3.数据

在这种多中心的回顾性队列研究，与全层MH眼（即IMH和SMH引起高度近视或外伤）随访至少1个月VILMP手术都包括在内了。在网上补充描述VILMP所述的外科手术过程eMethod 1,，患者的年龄，性别和症状（例如，进行性视力障碍和视物变形的）持续时间是从电子医疗记录（EMR）萃取。所有的眼睛接受眼科检查包括裂隙灯活组织显微镜前段和眼底检查，和结构域OCT扫描（OCT SD-，Spectralis;海德堡工程，Heidelberg，德国）的光谱VILMP后在基线和1个月。在OCT检查和OCT参数测量的附加细节在网上补充提交eMethod 2。



MH眼睛2014年1月和2020年八月之间追溯招募其中的334例患者的349只MH眼睛从四个眼科设置收到1125个术前黄斑OCT图像， 由于缺少术前OCT图像5只眼被排除，由于缺少术后OCT图像8只眼被排除，由于质量的OCT图像的不足6只眼睛被排除，剩余315例患者的330只眼睛1082幅的术前黄斑OCT图像（285只IMH眼睛957倍的图像，45只SMH眼睛125倍图像（36只眼用次级106倍的图像高度近视，9只眼用19倍的图像继发于创伤））和3300临床数据（术前黄斑OCT从OCT设备和从EMR临床数据中提取的参数）被用于训练，验证和外部测试MH病因分类模型和术后MH / IMH状态预测模型。这些眼睛，从中山大学中山眼科中心收集的266只MH眼（232只IMH眼和34只SMH眼），眼科在南方医科大学珠江医院部和眼科在昆明医学院第一附属医院的部门分别为随机分成训练集（眼睛的80％）和验证组（眼睛的其他20％）。用于外部测试一套独立的从眼科在广东省人民医院处收集64只MH眼（53只IMH眼，11眼SMH）。在本研究中进行的研究的流程图被示出在图1中。

使用16种卷积层的视觉几何集团网络进行分类，基于VGG网络的要求，预处理OCT图像以标准化输入数据。作者从原始OCT图像中除去饱和像素，强度值为255，然后将它们调整为224×224像素。阈值概率值0.5用于对MH病毒学进行分类（即阈值为0.5或更大，或者阈值<0.5），则为IMH（图2）。在线补充eMethod 3中描述了MH病态标记和训练程序的详细描述。

4.方法

考虑到SMH的发病机制更复杂，并且初始修复的成功率甚至低于IMH，进行了两种预测任务。对于第一预测任务，包括所有330 MH的眼睛，包括45个SMH眼睛和285只IMH眼睛，以预测术后MH状态。对于第二个预测任务，注册了285只IMH的眼睛以预测IMH的术后状态。
术前黄斑OCT图像和临床数据（即年龄，性别，症状持续时间，MIN，BASE，孔高，MHI，HFF，DHI和THI）作为输入数据。还应用了用于MH病因分类（VGG网络）的深度学习模型，以获得OCT图像的MH / IMH状态预测的深度特征。此外，采用完全连接的（FC）网络来​​获得临床数据的深度特征。
在提取两种类型的特征集（多模式深度特征）之后，将VGG网络与移除的顶部输出层一起连接到FC网络。此外，多模式深度特征融合以具有MH / IMH的综合表征。连接操作可以集成从不同特征映射获得的语义数据，从而增加信道的数量和提高模型性能。集合特征通过FC层与双通道SoftMax层连接，以获得MH / IMH状态的预测概率值。阈值概率值为0.5用于预测MH / IMH状态（如果值<0.5则为关闭，如果>0.5或更多则为打开）。术后MH状态标签和培训程序的详细描述在线补充eMethod 4。

将MDFN模型的预测性能与单峰深度学习（DL）型号的预测性能进行比较，我们将MDFN模型分成两个具有相同VGG网络和FC网络结构的两个单峰DL模型。 W E首先使用VGG网络和FC网络分别提取OCT图像和临床数据的深度特征。然后通过Softmax层通过单峰DL模型预测MH / IMH状态。 DL模型的示意图如图2所示。

在线补充eMethod 5中证明了统计分析5.此外，我们生成了热线，以帮助解释结果并提高模型透明度（在线补充eMethod 6中描述）。

5.结果

Heatmaps生动地说明了对MDFN模型的决策过程最重要的区域（图4）。在这些热敷中，神经视网膜边缘之间的间隙被鉴定为最关键的病理区域，用于预测vilmp后的MH状态。

6.局限性

相对较小的样本大小。然而，研究中包含的IMH眼睛来自多个眼科中心，并且通过独立的外部数据集验证了MDFN模型的有希望的性能，表明作者的MDFN模型具有出色的适应性和最常性。
术前黄斑OCT参数的手动测量，其受测量误差。尽管如此，在先前的研究中已经证明了手动测量的可重复性和再现性。最近，已经开发了一种完全自动化的3D OCT图像分析，用于精确测量MH参数，这可能是有用的此外，在作者的DL模型中自动化MH措施。此外，这是评估使用MDFN模型预测术后IMH状态的可能性的初步研究，需要潜在的多中心试验来验证我们MDFN模型的准确性。
在研究中只有少量的SMH的眼睛，作者不包括与黄斑水肿或玻璃体切除的SMH的眼睛，因为这些患者很少见到诊所。需要进一步的研究来预测SMH的术后状态。