论文链接：https://arxiv.org/abs/1710.04782
Lu D, Popuri K, Ding G W, et al. Multimodal and multiscale deep neural networks for the early diagnosis of Alzheimer’s disease using structural MR and FDG-PET images[J]. Scientific reports, 2018, 8(1): 5697.
使用结构MR和FDG-PET图像进行早期诊断阿尔茨海默病的多模态和多尺度深度神经网络
相关论文：Multiscale deep neural network based analysis of FDG-PET images for the early diagnosis of Alzheimer’s disease, 此处附上翻译 here.
ABSTRACT
阿尔茨海默病（AD）是一种进行性神经退行性疾病。遗忘性轻度认知障碍（MCI）是转变为临床损伤之前的常见首发症状，其中个体变得不能独立地进行日常生活活动。虽然目前没有可用的治疗方法，但早期确定的诊断结果越早，干预的可能性就越早，甚至可能阻止进展为完全AD。从MRI获得的神经成像扫描和通过FDG-PET获得的代谢图像提供了对活脑的结构和功能（葡萄糖代谢）的体内观察。假设结合不同的图像模态可以更好地表征人脑的变化，从而更准确地早期诊断AD。在本文中，我们提出了一种新的框架，以区分正常对照（NC）受试者与AD病理对象（AD和NC，MCI受试者将来转换为AD）。我们利用多模态和多尺度深度神经网络的新方法被发现对3年内转换的受试者预测提供了85.68％的准确度。交叉验证实验证明，与现有已发表文献的结果相比，它具有更好的辨别能力。
Introduction
阿尔茨海默病（AD）是最常见的痴呆症，影响了65岁以上的9个人中的1个。阿尔茨海默氏病涉及进行性认知障碍，通常与早期记忆丧失有关，需要在晚期阶段为自我护理活动提供帮助。阿尔茨海默氏症通过前驱期进化，通常被称为轻度认知障碍（MCI）阶段，10-15％的MCI患者每年进展为AD。随着预期寿命的提高，估计全球约1.2％的人口将在2046年之前患上阿尔茨海默病，从而直接影响数百万人，并且通过对家人和照顾者的影响间接影响更多人。目前阿尔茨海默氏症的研究目标是对患有阿尔茨海默病的病人进行可靠的前驱鉴定，原因是早期干预可能会改变病程。临床诊断涉及严格的评估，以排除非阿尔茨海默病的认知能力下降的原因，但这受限于识别前驱AD的特异性。因此，我们认为有必要使用一种工具来可靠地检测和鉴别前驱的阿尔茨海默病。
过去努力了解AD病理学导致将神经影像学识别为前驱诊断的有希望的工具之一。涉及磁共振成像（MRI）和氟脱氧葡萄糖正电子发射断层扫描（FDG-PET）的神经影像是独特的成像模式，被认为是识别前驱AD患者的有用工具。 MRI提供结构细节，如纹理，厚度，密度和各种大脑区域的形状，而FDG-PET测量静息状态葡萄糖代谢，反映下面组织的功能活动6。 FDG-PET和MRI经常用于神经成像疾病的计算机辅助诊断中的神经成像技术。已经进行了相当大的努力来使用结构MRI或FDG-PET或与其他生物标记物的组合来开发用于前驱诊断阿尔茨海默病的自动计算机辅助工具。
深度神经网络已被广泛研究并证明其具有许多识别任务的最佳性能。深度神经网络在识别AD相关模式中的应用也引起了对前驱AD的应用的兴趣。通过应用深度神经网络来提取特征，例如堆叠自动编码器（SAE）或深度玻尔兹曼机器（DBM），这些方法优于其他流行的机器学习方法，例如支持向量机（SVM）和随机森林技术。然而，阻碍神经影像学中深度学习应用的主要障碍之一是它需要大量数据集来训练模型，而可用的图像数量限制在数百或数千，远小于数据样本的特征维数。 。为了克服这一挑战，一种流行的方法是将图像分割成补丁并从每个补丁中提取特征。然而，对输入数据进行下采样可能导致判别信息的丢失，这可能是先前方法未能达到该诊断任务的令人满意的准确度的潜在原因。用于图像识别的模式挖掘和特征提取的共同扩展是多尺度处理。通过提取不同分辨率或尺度的特征，多尺度特征可以更好地表征分类任务的图像，最近的研究表明它还可以提高深度神经网络的分类性能。
因此，我们提出了一种将多尺度和多模态处理与深度神经网络相结合的新方法，用于早期诊断AD。通过对1000多名受试者的交叉验证实验，我们证明了1）我们的网络可以从多尺度和多模态特征中学习隐藏模式，用于检测AD病理; 2）我们的方法优于以前关于潜在AD受试者的判别任务的方法; 3）我们的网络可以识别将在3年内转换为AD的受试者，准确率为85.68％，这是一个很有希望的结果。
Methods
提出的框架有两个主要步骤：1）图像预处理：将MRI扫描和FDG-PET图像分成Patch，并从每个Patch中提取特征; 2）分类：训练深度神经网络以学习区分AD病理学的模式，然后使用它来分类具有AD病理学的个体。
Data
用于制备本文的数据来自阿尔茨海默氏病神经影像学倡议（ADNI）数据库（adni.loni.usc.edu）。 ADNI于2003年作为公私合作伙伴关系启动，由首席研究员Michael W. Weiner博士领导。 ADNI的主要目标是测试是否可以将连续MRI，PET，其他生物标志物以及临床和神经心理学评估结合起来测量轻度认知障碍（MCI）和早期阿尔茨海默病（AD）的进展。
为了全面验证所提出的方法，强调在本研究中使用所有可用的ADNI受试者（N = 1242），其具有在制备该手稿时的T1加权MRI扫描和FDG-PET图像。这些受试者被分为5组：1）稳定的正常对照（sNC）：在基线时诊断为NC的360名受试者，并且在制备该手稿时保持相同; 2）稳定的MCI（sMCI）：在所有时间点（至少2年）诊断为MCI的409名受试者; 3）进行性NC（pNC）：18名受试者在基线时评估为NC，但在制备该手稿时已进展至可能的AD; 4）进行性MCI（pMCI）：217名受试者在基线时评估为MCI并且进展至可能的AD; 5）稳定的阿尔茨海默病（sAD）：238名受试者被诊断为所有可用时间点的AD。受试者的人口统计学和临床信息如表1所示。括号中的数字是第二行中男性和女性受试者的数量，而其余3行中的两个数字代表年龄，教育年份的最小值和最大值和MMSE（迷你精神状态检查）得分。值得一提的是，每个受试者可以在不同的时间点进行多次扫描。在该研究中总共有2402个FDG-PET扫描和2402个MRI图像。有关ADNI主题群组，图像采集协议程序和采集后预处理程序的详细说明，请访问http://www.adni-info.org。
Image Processing
与深度学习已证明有效的典型图像识别问题不同，我们的数据集相对较小。因此，直接使用这个较小的图像数据库来训练深度神经网络不太可能提供高分类精度。然而，与典型的图像识别任务相反，其中图像包含大的异质性，该数据库中的图像是以相似的姿势和比例获得的所有人脑图像，其在比较中显示相对小得多的异质性。因此，我们应用以下处理步骤来提取patch特征，如图1所示：FreeSurfer 5.1用于将每个T1结构MRI图像分割成灰质和白质，然后将灰质细分为87个感兴趣的解剖区域（ROI）。 Freesurfer分割由专家神经解剖学家进行质量控制，并且所记录的任何错误都是手动校正的。然后，对于标准T1 MRI图像，执行基于空间坐标的体素方式k均值聚类，以基于其空间信息将每个ROI分割成patch。在本研究中，patch的大小预定为500,1000和2000个体素，分别产生1488,705和343个patch。考虑到本研究中可用的数据样本数量有限，它旨在保留足够的详细信息以及避免过大的特征维度。随后，通过高维非刚性配准方法（LDDMM）将标准模板MRI的每个ROI配准到每个目标图像的相同ROI。然后将配准图应用于标准模板的patch分割。这将模板分割转换为每个目标MRI空间，从而将目标图像细分为相同数量的patch。值得一提的是，在变换之后，由于非刚性配准编码局部膨胀/收缩，不同图像中模板patch的大小不一样，因此其中一个特征过去常用于表示给定结构脑扫描的区域信息。然后，对于每个目标受试者，使用基于标准化互信息的FSL-FLIRT程序，使用FSL-FLIRT程序进行刚性变换，将受试者的FDG-PET图像配准到其颅骨剥离的T1 MRI扫描。自由度（DOF）设定为12，归一化相关用作成本函数。 因为脑干区域最不可能受AD影响，FDG-PET图像的脑干区域中的平均强度被选作标准化个体脑代谢图像中的体素强度的参考。每个patch的平均强度用作形成特征向量以表示代谢活动的元素，并且每个patch的体积用于表示脑萎缩。
Multiscale Deep Neural Network
利用从MRI和FDG-PET图像中提取的特征，我们训练了多模态多尺度深度神经网络（MMDNN）来执行分类。如图2所示，网络由两部分组成。第一部分是6个独立的深度神经网络（DNN），对应于单个模态的每个尺度。第二部分是用于融合从这6个DNN中提取的特征的另一个DNN。该DNN的输入数据是从每个单个DNN获知的级联潜在表示。两部分的DNN共享相同的结构。对于每个DNN，每个隐藏层的节点数分别设置为3N，3/4N和100，其中N表示输入特征向量的维数。被选定的节点数量以探索来自第一层中的不同patch的特征之间的所有可能的隐藏相关性，并逐渐减少后续层中的特征的数量以避免过度拟合。我们分别以两个步骤（无监督预训练和监督微调）训练每个DNN。然后MMDNN的所有参数一起调优。
- Unsupervised Pre-training
对于无监督的预训练步骤，每个被训练的DNN为堆叠式自动编码器（SAE）.Autoencoder是一种人工神经网络，用于无监督地学习输入数据中的非线性隐藏模式，它由三层组成，输入层，隐藏层层和输出层，两个相邻的层完全相连。编码功能，解码功能和loss损失功能，此三个功能用于定义自动编码器。在这项研究中，编码函数定义为：，其中是输入数据，是潜在表示，是权重矩阵，是偏置项，是激活函数，为此我们使用了整流线性函数。类似地，解码函数可以表示为：，其中我们用权重约束编辑，并且使重建后的数据接近输入。将平方误差作为损失函数来优化网络。假设是，潜在表示可以捕获数据变化的主要因素。与另一种流行的无监督特征学习方法主成分分析（PCA）相比，激活功能使网络能够捕获数据变化的非线性因素，尤其是当多个编码器和解码器堆叠在一起形成SAE时。为了全面训练网络，我们应用了贪婪的逐层训练方法，其中每个隐藏层都单独训练。 - Supervised Fine-tuning
在预训练之后，DNN的前三层使用来自预训练的SAE的编码器参数进行初始化，然后是softmax输出层。 首先，我们在固定前三层的参数的同时独立地训练了输出层。 然后，我们将整个网络作为带有subject标签的多层感知器（MLP）进行微调。 网络输出对象的概率属于每个类别，而概率最高的类别确定对象的输出标签。 如果我们分别使用，表示第i个样本的输入特征向量和标签，则基于交叉熵的损失函数可以显示为：
其中N是输入样本的数量，j代表样本的类别，h代表网络函数。 - Optimization of Network
网络的每个训练步骤都是使用Adam算法的反向传播来执行的。 它是基于一阶梯度的优化算法，已被证明具有计算效率，并且适合训练深度神经网络。 在训练阶段，该训练集被随机分为多个小批，在本次研究中每个小批包含50个样本。 在每次迭代中，仅使用一个小批量进行优化。 每批使用一次后，对训练集重新排序并再次随机划分，以使每批在不同epoch具有不同的样本。 - Dropout
为了防止深度神经网络过度拟合，必须进行正则化以减少其泛化误差。 在这项研究中，我们使用Dropout来学习更强大的功能并防止过拟合。 在Dropout层中，一些单元被随机丢弃，从而提供了一种以指数方式组合许多不同神经网络的方法。 在这项研究中，我们在每个隐藏层之后插入了Dropout层。 在训练阶段的每个迭代中，仅随机选择了一半的隐藏单元将结果提供给下一层，而在测试阶段中，所有隐藏单元均被保留以进行分类。 通过避免对每个训练样本上的所有隐藏单元进行训练，这种正则化技术不仅可以防止对训练数据进行复杂的共适应并减少过拟合，而且还减少了计算量并提高了训练速度。 - Early Stopping
我们用来防止过度拟合的另一种方法是早停。 因为深度架构是通过迭代的反向传播进行训练的，所以在每个时期之后，网络都倾向于更适应训练数据。 在某个时候，提高网络对训练集的适应性将开始降低泛化精度。 为了在过度拟合之前终止优化算法，使用了提前停止来指导需要进行多少次迭代。 在交叉验证实验中，将数据集分为训练和测试之后，我们将训练样本进一步分为训练集和验证集。 仅使用前一组中的数据对网络进行训练，而使用后一组中的样本来确定何时停止算法：而对于验证组，网络具有最高的泛化精度。 在实际训练中，如果验证准确性在50个epochs内停止增加，我们将停止优化。 - Ensemble Classifiers
尽管已证明尽早停止对于大多数深度学习问题很有用，但相对较小的数据集限制了我们可用于验证的样本数量。一个小的验证集可能无法代表整个数据集，从而导致网络出现偏差。因此，我们求助于集成多个分类器以执行更稳定，更可靠的分类。我们没有选择一个验证集，而是将训练集随机分为10个集，并使用它们来训练10个不同的网络以“投票”进行分类。在训练阶段，对于网络i，将使用集i进行验证，而将其余9套用于训练。在测试阶段，将测试样本馈入所有这些网络，从而得出10组概率。对于每个样本，添加了来自10个网络的概率，概率最高的类别是该样本的分类结果。尽管集成分类器的性能可能在每种情况下都不会比单个网络好，但该策略可以从统计角度提高分类器的鲁棒性和稳定性。
Results and Discussion
Experiments Setup
提出的深度神经网络是使用Tensorflow构建的，Tensorflow是Google提供的开源深度学习工具箱。首先，为了将判别能力与现有技术方法进行比较，应用10折交叉验证实验对sMCI和pMCI受试者进行分类。然后我们用不同的训练集进行了三次实验，以测试pNC和pMCI的图像是否包含AD病理学。对于这些实验，将4种数据集：sNC，sAD，pNC和pMCI以3种不同方式分成两组：1）sNC和sAD的受试者被认为是组1，pNC和pMCl的受试者属于组2; 2）pMCI，sNC和sAD的受试者属于group1，pNC被认为是group2; 3）所有受试者均被视为组1。对于每个实验，我们对group1应用了10折交叉验证。第1组的受试者随机分为10个子集，其中9组用于训练，其余组与用于测试的组2的受试者组合。如方法部分所述，随机选择10％的训练受试者作为早期停止的验证集，以防止过度拟合。对具有不同验证集的10个网络进行训练以对最终分类结果进行“投票”。注意到它不是图像而是我们分裂的对象，因此来自同一主题的不同时间点的图像将不会用于训练和测试。
| group 1 | Group 2 | |
|---|---|---|
| 1) | sNC和sAD | pNC和pMCI |
| 2) | pMCI，sNC和sAD | pNC |
| 3) | sNC，sAD，pNC和pMCI | / |
Compare with State-of-the-Art Methods
过去的研究人员一直在研究具有进行性认知衰退和稳定认知障碍的受试者的分类。 pMCI被认为是具有高AD风险的个体，而sMCI被认为是在这些研究中没有风险或AD风险低的个体。 为了评估我们的方法的性能，我们将pMCI与sMCI的分类准确性与使用相同数据模态（比如T1加权MRI和FDG-PET）的先前方法进行比较。 所提出的网络在分类pMCI和sMCI个体方面优于最先进的方法，无论使用单模态还是多模式成像，如表2所示。值得一提的是，在Chen et.al的研究中，他们 进行域迁移学习以利用辅助域数据（AD / NC对象）来改进分类。 尽管如此，我们没有辅助知识的方法的准确性比他们的准确率高3.5％。
AD Pathology Classification AD病理学分类
sMCI受试者的一个问题是我们只知道他们在准备这份手稿时保持稳定，但他们未来仍可能进展为AD或其他精神疾病。虽然sMCI与pMCI实验通常用于测试近期研究中分类器的辨别能力，但sMCI受试者的分类结果可能不是很准确。因此，我们进行了第二个实验，包括仅用已知的阿尔茨海默病进展（pNC，pMCI和sAD）和正常对照（sNC）对个体进行分类。我们通过在训练阶段使用各种样本组合来研究分类器的性能。在非常基础的level上，我们通过区分sAD和sNC来训练分类器，在下一level将pMCI和sAD组合起来代表阿尔茨海默氏症组并训练他们将其与sNC组区分开来。在最后的level，我们结合pNC，pMCI和sAD表示阿尔茨海默氏症组从sNC组来区分。深度神经网络提取的特征如图3所示。我们观察到分类器的准确性和灵敏度通过额外的pMCI和pNC训练逐步改善，而特异性降低，如表4所示。此外，分类器性能为与单独模态的性能相比，FDG-PET和结构测量的组合略微更好。有趣的是，结构成像测量的分类器性能不如FDG-PET测量。与结构图像相比， FDG-PET，一种神经元活动的衡量标准，是识别前驱阿尔茨海默氏症的更好工具。
Multiscale Classification
表3中列出了用不同尺度提取的特征的分类精度。随着Patch尺寸的变化，我们无法识别出任何增加或减少分类性能的趋势。 因此，具有较高分辨率的特征不一定涵盖较低分辨率特征具有的辨别信息。 然而，与非透视特征uniscale相比，融合多尺度特征产生了更高的准确性，表明网络能够捕获粗到细分辨率的判别信息。
Early Diagnosis
我们还研究了分类器识别疾病发作前患阿尔茨海默氏症高风险人群的能力。与仅用sAD训练的分类器相比，用阿尔茨海默氏病的轨迹（pNC，pMCI和sAD）的组合样本训练的分类器是优越的。由于使用pNC和pMCI对网络分类器进行了AD轨迹模式的训练，因此网络能够在识别具有AD风险的个体时获得特殊的分类性能，即分类器识别在疾病发作前约1,2和3年分别具有90.08％，85.61％和81.20％AD风险的个体。 过去的研究使用单模态或多模态调查预测了AD发病。很少有研究使用PET作为单一模式或结合MRI，CSF或认知测量来预测AD发病。目前网络分析中3年预测的准确性优于引用研究中报告的准确性。使用结构MRI作为独立工具或除了其他临床变量之外的预测疾病发作的研究报告的准确度值低于使用PET获得的准确度值。
深度神经网络是通过对具有良好表征的对象的图像进行先验训练来准确识别物体的强大工具。因此，使用DNN工具进行精确分类的基本要求是在监督训练阶段提供大量图像（通常以百万计）和良好表征的对象。因此，在训练期间提供的对象的先验知识（阿尔茨海默氏症的特征）的妥协将限制后续分类的准确性。由于我们目前对AD发病机制的理解及其在FDG-PET和结构MRI图像中的精确特征是有限的，DNN在实现100％准确分类方面受到威胁。诊断AD的临床标准涉及一系列评估以提供接近精确的诊断。尽管进行了严格的评估，临床诊断的AD患者并非100％准确，因此FDG-PET和结构MRI特征可能与AD以外的其他疾病重叠，包括NC。因此，用不太精确表征的图像（FDG-PET和结构MRI）训练的DNN不能实现100％准确的分类。我们建议通过升级FDG-PET和结构成像方法或增加对AD特异性发病机制的理解来改进AD特征的表征，这将对DNN分类器工具在未来研究中的分类准确性产生积极影响。
Conclusion
总之，我们提出了一种深度神经网络来识别有患阿尔茨海默病风险的个体。我们使用隐藏在不同分辨率和不同模态中的模式训练分类器，以区分具有阿尔茨海默氏症轨迹（pNC，pMCI和sAD）和没有认知缺陷（sNC）的受试者。我们的结果显示分类器使用交叉验证实验成功地将具有AD病理学的个体与sNC区分开来的能力具有82.93％的显着准确度(表2)。我们观察到，FDG-PET和结构MRI图像组合构建的网络分类器的性能优于单独使用结构MRI或FDG-PET构建的网络分类器。此外，发现用pNC，pMCI和sAD（阿尔茨海默氏病的轨迹）的组合样本训练的分类器产生最高的分类准确度。最后，我们在疾病发作前识别患有AD病理的个体的实验表明，疾病发作前3年的敏感性为85.68％(表4)。因此，所提出的深度神经网络分类器可以是将来用于AD病理学的早期预测的潜在工具。在该研究中pNC受试者的数量有限，导致pNC的准确性相对较低，因为将来积累的数据越多，我们期望在AD病理学的NC受试者的预测中具有更高的准确性。