深度学习在自闭症谱系障碍神经成像诊断和康复中的应用

准确诊断自闭症谱系障碍(ASD)，然后进行有效的康复对这种障碍的管理至关重要。人工智能(AI)技术可以帮助医生应用自动诊断和康复程序。人工智能技术包括传统机器学习(ML)方法和深度学习(DL)技术。传统的机器学习方法采用了多种特征提取和分类技术，而深度学习则是智能地、完整地完成特征提取和分类过程。DL诊断ASD的方法主要集中在基于神经成像的方法上。结构和功能神经成像技术为医生提供了关于大脑结构(解剖和结构连通性)和功能(活动和功能连通性)的大量信息。由于大脑的复杂结构和功能，在不利用DL等强大的人工智能技术的情况下，用神经成像数据提出ASD诊断的最佳程序可能具有挑战性。本文研究了在DL网络的帮助下区分ASD的研究。还评估了为支持ASD患者使用DL网络而提供的康复工具。最后，我们将提出ASD自动检测和康复的重要挑战，并提出一些未来的工作。本文发表在Computers in Biology and Medicine杂志。

1. 介绍

自闭症谱系障碍是一种影响大脑的神经系统疾病，这种疾病通常可以通过现有的诊断方案从三岁起进行区分。这种疾病成因还有基因相互作用或多态性的遗传。全世界每70个儿童中就有一个患有ASD。ASD在男孩中明显比在女孩中更常见。

过去，ASD被分为五组：阿斯伯格综合征(AS)，Rett综合征(RS)，儿童分裂性障碍(CDD)，自闭症障碍(经典自闭症)和广泛性发育障碍-无其他特别(PDD-NOS)。精神疾病诊断与统计手册第5版(DSM-5)是美国精神病学协会(APA)出版的一本使用通用语言和标准对精神疾病进行分类的书籍。DSM-5对自闭症进行了重大修改，包括删除了自闭症的亚型，命名阿斯伯格综合症，经典自闭症，RS， PDD-NOS，并将其置于ASD的范围内。自闭症谱系障碍的严重程度由三个级别的严重程度决定:1级:需要支持，2级:需要大量支持，3级:需要非常大量的支持。图(1)为ASD在全球的分布图。图(2)显示了ASD不同水平的可视化。

图1 ASD在全球的分布图

图2 不同程度ASD的可视化

目前还没有针对ASD的特定治疗方法，但人们已经研究和开发了各种干预技术，以减轻ASD患者的症状，提高认知能力，改善日常生活技能，提高他们的能力。针对ASD患者的干预手段多种多样，其中大多数是基于行为的干预手段，也有一些是基于进化/认知的干预手段。

近年来，非侵入性脑刺激(NIBS)方法，包括经颅直流电刺激(tDCS)和经颅磁刺激(TMS)，已被作为改善ASD障碍病病性神经可塑性的新治疗方案。tDCS是一种非侵入性脑刺激方法，利用直流电刺激大脑的某些部分。TMS是一种基于电磁感应的非侵入性脑刺激方法，它集中于在调节ASD患者行为中起重要作用的大脑区域。

ASD的诊断方法包括心理学家、专家和辅导人员使用的各种工具。这些测试包括自闭症诊断观察计划第二版(ADOS-2)，自闭症诊断访谈修订版(ADI-R)，儿童自闭症评分量表(CARS)，社交和沟通障碍诊断访谈(DISCO) ，Gilliam自闭症评分量表(GARS)，发育、维度和诊断访谈(3di)和修改的幼儿自闭症检查表(M-CHAT)。这些方法主要是基于访谈的，优点是访谈可以很容易地对所有年龄进行。基于访谈的方法缺点很少。这些方法的主要缺点是主观的。疾病的诊断取决于医生的专业知识、技巧和时间表。基于访谈的方法的另一个缺点是，孩子的家庭成员可能在填写问卷或回答问题时不诚实，这可能导致错误的诊断。

神经成像技术是专家们首选的另一类ASD诊断方法。在最近十年中，针对ASD诊断的各种研究已经在神经影像学数据(结构和功能)上进行了。利用结构神经成像技术分析大脑区域的解剖结构和结构连接是研究ASD大脑结构障碍的重要工具。脑结构成像的主要工具是磁共振成像(MRI)技术。

但是脑功能诊断工具是研究ASD的主要方法，而不是结构方法。功能神经成像最基本的方式是脑电图(EEG)，它以高时间分辨率(以毫秒为单位)记录头皮上的脑电活动。研究表明，利用EEG信号诊断ASD是有用的。功能MRI (Functional MRI, fMRI)是治疗功能性脑疾病最有前途的成像方式之一，常用于任务型(T-fMRI)或静息状态(rs-fMRI)。基于fMRI的技术具有较高的空间分辨率(毫米级)，但由于大脑血流动力学系统反应缓慢以及fMRI成像时间限制，时间分辨率较低，不适合记录大脑活动的快速动态。此外，这些技术对运动伪影有很高的灵敏度。还有三种不太流行的模式:皮质电描记术(ECoG)、功能近红外光谱(fNIRS)和脑磁图(MEG)也可以在ASD诊断中获得合理的表现。

一种合适的方法是利用机器学习技术以及功能和结构数据与医生合作，准确评估ASD。在ASD领域，应用机器学习方法一般分为传统方法和DL方法两类。与传统方法相反，DL方法在探索ASD或设计康复工具方面的工作要少得多。

在本文中，我们通过IEEE Xplore、ScienceDirect、SpringerLink、ACM以及其他会议或期刊获取了使用DL方法进行ASD诊断和康复的论文。进一步，我们使用关键词“ASD”，“自闭症谱系障碍”和“深度学习”来选择论文。作者对这些论文进行了分析，直到2020年11月8日。图(3)描述了每年使用DL方法进行ASD自动检测和康复的论文数量。

图3 每年发表的有关ASD诊断和康复的论文数量

2. ASD诊断和康复的深度学习技术

如今，DL算法被应用于医学的许多领域，包括结构和功能神经成像。DL在神经成像中的应用有脑MR图像分割，肿瘤等脑病变的检测，ASD等脑功能障碍的诊断，以及人造脑结构或功能图像的生成等。机器学习基于它们训练所需的反馈类型，被分为三个基本的学习类别：监督学习，无监督学习和强化学习(RL)。到目前为止，大多数应用DL识别ASD的研究都是基于有监督或无监督的方法。图(4)说明了研究ASD通常使用的DL网络类型。

图4 各种类型的DL方法的说明

3. 基于CADS的ASD MRI诊断深度学习技术

传统的基于人工智能的CADS包括数据采集、数据预处理、特征提取和分类几个阶段。文献综述了现有的诊断ASD的传统算法。与传统方法相比，基于DL的CADS可以在模型内智能地进行特征提取和分类。此外，由于深度学习网络的结构，使用大型数据集来训练深度学习网络并识别数据集中复杂的模式是势在必行的。基于DL的ASD检测CADS的组成如图(5)所示。从图中可以看出，第一步是引入大型免费的数据库来诊断ASD。在第二步，各种类型的预处理技术被用于功能和结构数据的审查。最后，将深度学习网络应用于预处理后的数据。

图5 采用DL架构进行ASD检测的CAD系统框图

3.1 神经成像ASD数据集

3.1.1 ABIDE数据集

数据集是任何CADS开发的核心，CADS的能力主要取决于输入数据的丰富程度。为了诊断ASD，一些脑功能和结构数据集是可用的。目前最完整的免费数据集是ABIDE数据集，包含两个子集:ABIDE-I和ABIDE-II，包括sMRI、rs-fMRI和表型数据。ABIDE-I涉及来自17个国际站点的数据，共1112个数据集，包括539名ASD患者和573名健康个体。ABIDE-II包含来自19个国际站点的数据，共有1114个数据集，来自521名ASD患者和593名健康个体。此外，研究人员还可以免费下载ABIDE-I系列PCP的预处理图像。

3.1.2 EEG可用数据集

脑电图数据集由沙特阿拉伯的KAU脑机接口(BCI)小组提供，其中共包括18组数据，8个与障碍组相关，10个属于正常组。障碍组包括8名男孩(10 - 16岁)，正常组包括10名男孩(9-16岁)。EEG记录在无伪影的静息状态下进行。

3.2 预处理技术

神经影像学数据(尤其是功能性数据)结构较为复杂，如果预处理不当，可能会影响最终诊断。这些数据的预处理通常需要多个常见步骤，由不同的软件作为标准执行。

3.2.1. 标准fMRI预处理步骤

fMRI图像的预处理通常有一些固定的步骤，并且通常使用工具箱来减少执行时间并产生更好的准确性。这些著名的工具箱包括：FMRIB软件库(FSL)、BET、FreeSurfer和SPM。此外，重要且至关重要的fMRI预处理包括：大脑提取、空间平滑、时间滤波、运动校正、切片定时校正、强度归一化和标准图谱配准。

大脑提取是从MRI数据中非大脑组织，以获得清晰的大脑图像的过程。它是结构分析中必不可少的一步，需要对大脑进行分割和大脑活动进行功能分析，从而获得清晰准确的大脑图像。空间平滑是平均相邻体素信号。时间过滤的目的是从体素的时间序列中消除不需要的成分，而不损害感兴趣的信号。运动校正的目标是将所有图像对齐到参考图像，以便在所有fMRI体积图像中体素的坐标和方向相同。修改切片时间的目的是调整体素的时间序列，使每个fMRI体像中的所有体素都有一个共同的参考时间。通常选取每个fMRI体图像中记录的第一个切片对应的时间作为参考时间。强度归一化是根据fMRI信号的平均强度进行缩放，以补偿记录内和之间的全局偏差。

人脑包含数百个具有不同结构和功能的皮层和皮层下区域，每一个都是非常耗时和复杂的研究。为了克服这一问题，使用脑地图集将大脑图像划分为有限数量的ROI，然后提取每个ROI的序列。ABIDE数据集使用多种图集，包括自动解剖标记(AAL)、Eickhoff-Zilles (EZ)、Harvard-Oxford (HO)、Talaraich and Tournoux (TT)、Dosenbach 160、Craddock 200 (CC200)和Craddock 400 (CC400)。表1主要总结了引用的所有文章中使用的数据集、被试情况、处理方法、使用的工具和结果。

表1 使用DL方法进行基于神经成像的ASD检测的总结

3.2.2 标准sMRI预处理步骤

与fMRI预处理类似，结构MR图像通常也在输入到神经网络之前进行预处理。在fMRI和sMRI预处理中，大脑提取和配准都是常见的步骤。不同的步骤如下:（1）去噪：由于记录图像过程中产生的噪声，使用sMRI图像诊断ASD可能面临严重的挑战。为了减少这些噪声，会使用许多滤波方法，如低通滤波器、基于小波的滤波器、NLM滤波器等。（2）不均匀性校正：在记录sMRI数据时，静磁场必须是均匀的，但在现实中，由于脑组织的存在，这种均匀性会减弱，并在图像上产生伪影。因此，在对sMRI图像进行处理之前，必须进行非均匀性校正。（3）强度的标准化：一般来说，不同的扫描仪获得的具有t1 -加权对比度的sMRI图像的强度是不相同的。sMRI中的强度标准化技术努力消除这些依赖于扫描仪的强度变化。（4）De-oblique：在sMRI数据采集过程中，扫描角度偶尔会偏离视界，覆盖整个大脑。这种扫描称为斜扫描。斜向扫描可以以更少的噪声获取数据，但会使两个不同图像之间的配准更加苛刻。为了解决这一问题，需要进行去斜预处理步骤。（5）重新定向：sMRI图像的方向取决于图像记录过程的设置。为了准确地处理图像，所有的图像都必须具有相同的方向。（6）分割:在应用高级处理之前，有时必须对sMRI图像进行分割。在sMRI模式中，脑图像的分割通常旨在分离三种类型的脑组织:白质(WM)、灰质(GM)和脑脊液(CSF)。

3.2.3 高级预处理步骤

高水平的脑数据预处理技术是重要的，将其与初步预处理方法结合使用可以提高ASD识别的准确性。这些方法是在对大脑功能和结构数据进行标准预处理后应用的。其中包括滑动窗口(SW)，数据增强(DA)，功能连通性矩阵(FCM)估计和应用快速傅里叶变换(FFT)。此外，一些研究使用了特征提取技术，还有一些研究使用了特征选择方法。

3.3 深度神经网络

DL在各种医疗应用中，包括ASD的诊断近年来变得非常流行。本节研究了用于ASD检测的DL网络类型，包括CNN、RNN、AE、DBN、CNN-RNN和CNN-AE模型。每一项使用神经成像方式和DL模型诊断ASD的研究细节见表(1)。从该表可以看出，用于ASD诊断的神经成像方式包括sMRI、DTI、rs- fMRI、T-fMRI、fNIRS和EEG，其数据格式为1D、2D和3D。可以观察到，CNN模型被用于大多数使用神经成像方式进行自闭症自动检测的研究。有监督学习任务由于其著名的结构如VGG和ResNet而获得了较高的性能。此外，它们与神经成像模式格式和可解释性的内在匹配使研究人员更容易应用和调试它们。这些论文为解决由于CNN所带来的困难并获得更高的性能做出了重要贡献。以下部分将介绍用于ASD诊断的各种DL技术。

3.3.1 卷积神经网络(CNNs)

卷积神经网络是一种前馈网络，由卷积层和池化层组成。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征图(featureMap)，每个特征图由一些矩形排列的的神经元组成，同一特征图的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。池化可以看作一种特殊的卷积过程。卷积和池化大大简化了模型复杂度，减少了模型的参数。

在本节中，主要调查了用于ASD诊断的流行卷积网络的类型。这些网络包括：1D-CNN、2DCNN、3D-CNN模型，以及各种预先训练的网络，如VGG。在CNN模型中，特征提取是无监督的，这是一个优势。此外，增加卷积层有助于提取高级特征。除了优点外，其训练参数较多，计算量大，需要强大的计算机来实现。

（1）1D和2D-CNN：数据中存在许多空间依赖关系，很难从数据中提取这些隐藏的特征。卷积网络使用类似于卷积滤波器的结构来正确提取这些特征，同时考虑空间依赖性的特征处理知识帮助减少网络参数的数量。这些网络的主要应用是图像处理，由于二维(2D)图像输入，卷积层形成二维结构，这就是为什么这些网络被称为二维卷积神经网络(2D-CNN)。通过使用另一种一维信号数据，卷积层的结构也类似于数据结构。在卷积网络中，假设不同的数据部分不需要学习不同的滤波器，参数的数量显著减少，并且可以用较小的数据库来训练这些网络。图(6)为2D-CNN用于ASD检测的框图。

图6 用于ASD检测的2D-CNN总体框图。

（2）3D-CNN：通过将数据转换为三维，卷积网络也将改变为三维格式(图7)。需要注意的是，由于各种原因，三维CNN (3D- CNN)网络的操作不如1D-CNN和2D-CNN网络方便。首先，训练这些网络所需的数据必须大得多，传统上这样的数据集是不可用的，并且在2D网络中广泛使用的预训练等方法在这里不能使用。另一个原因是，随着网络的结构越来越复杂，确定层数和网络结构变得更加困难。在三维CNN卷积过程中生成的三维激活图对于分析体积或时间上下关系至关重要的数据至关重要。这种在上下关系中分析一系列帧或图像的能力导致3D CNN可以作为医学成像的动作检测和评估工具。

图7 3D-CNN用于ASD检测的总体框图。

3.2.2 深度信念网络(DBNs)

深度信念网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布。DBNs由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

DBNs现在不像过去那样受欢迎，并且已经被新的模型所取代，用于执行各种应用(例如，用于无监督学习的自编码器，用于生成模式的生成对抗网络(GAN)，变分自编码器(VAE))。本文中这些网络的使用涉及到在没有监督器或网络预训练的情况下进行特征提取。这些网络是无监督的，在输入层之后还有几层，如图(8)所示。这些网络的训练是贪婪的，从下到上，也就是说，每一层单独训练，然后再添加下一层。经过训练后，这些网络被用作特征提取器，或者网络权重被用作网络的初始权重，用于分类。DBN模型的训练比其他DL模型简单，但性能不佳，数据量少。DBN模型的一个缺点是它们不考虑输入图像的2D结构。因此，将它们用于机器视觉应用是具有挑战性的。

图8 用于ASD检测的DBN的总体框图。

3.3.3 自编码器(AEs)

自编码器(AEs)已经有30多年的历史，多年来经历了巨大的变化，以提高其性能。但是这些网络的整体结构保持不变。这些网络由两部分组成:编码器和解码器，因此输入的第一部分在潜在空间中编码，解码器部分努力将代码转换为初步数据(图9)。自动编码器是一种特殊类型的前馈神经网络，其中输入与输出相同。他们将输入压缩为低维代码，然后根据这种表示重新构建输出。该代码是输入的一个紧凑的“摘要”或“压缩”，也称为潜在空间表示。人们提出了各种方法来阻止网络对数据的记忆，包括稀疏声发射(SpAE)和去噪声发射(DAE)。经过适当的训练，自动编码器的编码器部分可以用来提取特征，创建一个无监督的特征提取器。AE模型基于无监督训练，这是一个优势。但是这些模型还存在梯度消失的问题，这是一个缺点。

图9 用于ASD检测的AE总体框图。

3.3.4 循环神经网络(RNNs)

在卷积网络中，处理的是数据中的一种空间依赖关系。但是数据之间的相互依赖并不局限于这个模型。例如，在时间序列中，依赖关系可能彼此相距很远，另一方面，这些序列的长时间和可变长度导致普通网络不能很好地处理这些数据。为了克服这些问题，可以使用RNN。循环神经网络的来源是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。即：循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

长短期记忆(LSTM)结构可以提取数据中的长期和短期依赖关系(图10)。另一种著名的结构被称为门控循环单元(GRU)是在LSTM之后发展起来的，从那时起，大部分的努力都被用于增强这两种结构，使它们能够抵抗挑战。RNN模型具有记忆性，可以用于疾病预测应用，这是一个重要的优势。RNN模型还会遇到梯度消失的问题。同时，由于这些模型的周期性，训练它们需要时间。

图10 用于ASD检测的LSTM的总体框图。

3.3.5 CNN-RNN

CNN-RNN是将CNN与RNN相结合的一种方法。在这个网络中，最初的想法是利用卷积层来修正RNN的性能，从而可以利用两个网络的优点。CNN-RNN一方面可以借助RNN发现时间依赖关系，另一方面可以借助卷积层发现数据中的空间依赖关系。这些网络非常有利于分析多维时间序列(如视频)，但更简单的是，这些网络也产生三维数据的分析，因此偶尔会使用带有RNN的2D-CNN，而不是更复杂的3D-CNN设计。图(11)展示了CNN-RNN模型。这些模型利用了CNN和RNN模型在从医疗数据中提取特征方面的优势，具有较高的性能。CNN-RNN模型的缺点是训练复杂。

图11 用于ASD检测的CNN-RNN总体框图。

3.3.6 CNN-AE

在CNN-AE构建中，主要的目标和前提是减少参数的数量。如前所述，仅将网络层更改为卷积显著减少了参数的数量，将AE与卷积结构相结合也做出了重大贡献。这有助于利用高维数据，并在不改变数据库大小的情况下从数据中提取更多信息。类似的结构被广泛应用于图像分割。同样，无监督网络也可以应用于网络预训练或特征提取。用于ASD检测的CNN-AE网络如图(12)所示。由于使用AE进行基于卷积的特征提取，CNN-AE模型在从医疗数据中提取特征方面表现良好。训练复杂是CNN-AE模型的缺点。

图12 用于ASD检测的CNN-AE总体框图。

4. ASD康复的深度学习技术

康复工具被应用于医学的多个领域，其主要目的是帮助患者在治疗后康复。使用DL算法和多种康复工具已经被提出。康复工具用于帮助ASD患者使用移动、计算机应用程序、机器人设备、云系统和眼球追踪，这些将在下面讨论。此外，关于使用DL算法治疗ASD患者康复的论文摘要如表2所示：

4.1 移动和软件应用程序

面部表情是ASD儿童非语言交流的关键模式，在社会互动中发挥着关键作用。脑机接口(BCI)系统的使用可以洞察用户的内在情绪状态。Valles等人开展了一项研究，重点是帮助患有ASD的儿童设计移动软件。根据图(13)，他们的目标是设计一个基于人脸图像的智能iOS应用程序。这样，人们在不同角度和亮度下的脸首先被拍摄下来，然后变成各种表情符号，让自闭症儿童表达自己的感受和情绪。在该小组的调查中，使用Kaggle的和KDEF数据库来训练VGG-16。此外，LEAP系统还在德克萨斯大学用于训练该模型。本研究的准确率最高，为86.44%。在另一项类似的研究中，他们的准确率达到了78.32%。

图13 ASD康复IOS应用程序框图。

4.2 云系统

Mohammadian等人提出了一种DL的新应用，通过应用多轴惯性测量单元(IMU)来促进自动立体运动(SMM)识别。他们利用CNN将多传感器时间序列转换为特征空间。然后将LSTM网络与CNN相结合，获得用于SMM识别的时间模式。最后，他们采用分类器选择投票方法来组合最佳基学习器的集合。经过多次实验，证明了该方法优于其他基本方法。SMM实时检测系统如图14所示。首先，IMU是一种可穿戴传感器，用于数据收集，然后可以在本地或远程分析数据，以识别SMM。如果发现异常动作，就会向治疗师或家长发出警报。

图14 ASD康复云系统设计。

4.3 眼动跟踪

Wu等提出了自闭症儿童DL显著性预测模型。他们在提出的范例中使用了深度卷积网络(DCN)，并输出显著图(SM)。然后通过单侧剪切(SSC)处理固定密度图(FDM)，以优化所提出的损失函数作为SM显著性图的真实标签。最后，他们利用ASD眼球追踪数据集来测试模型。他们提出的模型优于其他基本方法。Elbattah等人旨在将无监督聚类算法与DL结合起来帮助ASD康复。第一步涉及眼球跟踪路径的可视化，从这一步捕获的图像被馈送到AE以学习特征。利用AE特征，利用k均值算法建立聚类模型。他们的方法比其他最先进的技术表现得更好。

5. 挑战

在本节中，将介绍使用神经成像方式诊断ASD的最重要挑战，包括神经成像数据集、tDCS和TMS挑战。最后讨论了软件和硬件方面的挑战。以下各小节将简要介绍这些挑战。

5.1 神经影像数据集

神经成像数据集最重要的挑战是无法获得MRI模式和其他庞大的神经成像数据集、混合模式的数据集以及各种ASD疾病的数据集。下面将对这些挑战进行研究。

5.1.1 核磁共振神经成像模式数据集的缺乏

在ABIDE数据集中，扩散张量成像(DTI)模态尚未对大量受试者使用。因此，从DTI模式和DL模型诊断ASD的研究有限。另一个挑战是神经成像方式，如扩散加权成像(DWI)和灌注加权成像(PWI)还没有使用。

5.1.2 没有其他神经影像学数据集

如引言部分所述，不同的功能神经成像方式可以用于ASD诊断，包括EEG、MEG和fNIR。EEG和fNIRS的成本低于MRI，但其诊断ASD的效率较高。然而，大量的脑电图和fNIRS数据集并不能免费用于研究。此外，据我们所知，由于MEG数据集不可访问，没有研究使用MEG模态和DL模型进行ASD诊断。

5.1.3 缺乏多模态神经成像数据集

在临床研究中，包括EEG-fNIRS、EEG-fMRI、EEG-MEG、MEG-DTI在内的多模态技术正在用于ASD的诊断。临床研究表明，使用多模态技术可以有效提高ASD诊断的准确性。到目前为止，研究人员还没有获得多模态神经成像数据集，这是另一个挑战。这些数据集的可用性可以促进使用各种DL模型进行ASD诊断的许多研究。

5.1.4 没有不同类型ASDs的神经成像数据集

如前所述，ASD包括多种不同程度的疾病。但大多数研究的目的是将ASD与健康对照(HC)区分开来。据我们所知，由于缺乏数据集，目前还没有对各种类型的ASD或其不同水平进行分类的研究。

5.2 ASD治疗中的TMS和tDCS

导论部分讨论了使用TMS和tDCS技术进行脑刺激。要使用这些方法，首先，将大脑划分为不同的区域。然后，由专家刺激感兴趣的大脑区域。使用TMS和tDCS的一个重要挑战是大脑刺激必须准确，否则，患者可能会遇到一些副作用。如果将DL模型与TMS和tDCS技术一起使用，可以更好地分割出大脑区域，从而促进TMS和tDCS对大脑的刺激。

5.3 ASD的软件和硬件挑战

本节介绍了基于DL的ASD诊断中最重要的软件和硬件挑战。sMRI模态以3D方式记录，并使用基于DL的3D网络进行处理。此外，标准的fMRI数据为4D，需要基于DL的4D模型进行处理。在实践中，使用这些网络是非常具有挑战性的；因为它需要巨大的内存、计算负荷和硬件成本。虽然二维DL网络已经得到了显著的发展，但增加更多的层和加深网络会对网络造成一些限制。层数的增加，网络参数的增加，使得网络的训练变得困难，需要大量的训练数据集，这些训练数据集很难获得，而且非常昂贵。

另一个困扰研究人员的问题是利用硬件资源设计基于DL的康复系统。如今，研究人员可以使用谷歌Colab等辅助工具来提高处理能力。然而，在现实场景中实现这些系统时，问题仍然存在。

讨论

在本研究中，我们对基于DL的ASD诊断CAD系统以及ASD患者康复工具的范围进行了全面的综述。在ASD诊断领域，已经发表了大量使用功能和结构神经成像数据以及康复工具的论文。

6.1 ML法与DL法诊断ASD的比较

已有多项研究提出使用ML技术诊断ASD。例如，Hyde等人综述了监督机器学习方法在ASD诊断中的应用。Song等人利用ML方法和神经影像学数据研究了ASD的分类和检测。Hosseinzadeh等人系统地回顾了物联网设备背景下的ASD方法。Rahman等对ASD特征选择和分类的分析进行了综述。Pagnozzi等人综述了使用ML技术检测ASD中sMRI生物标志物的研究。Xu等人介绍了使用ML方法识别ASD的最新进展。

采用ML技术可以对ASD进行预处理、特征提取、特征选择和分类。特征提取是ASD诊断ML模型中最重要的部分。在CADS中选择合适的特征提取算法是非常困难的，通常是通过试错来完成的，这是CADS的一个重要缺点。ML技术的另一个缺点是使用大数据，可能导致效率不合理。

随着DL技术的出现，许多科学家将这些技术用于疾病诊断。ML和DL技术之间最重要的区别在于特征提取。在DL模型中，特征提取和特征选择由深层进行。此外，这些模型的效率不会因增加输入的神经成像数据而降低。

6.2 ASD诊断的神经影像学方法

表(1)讨论了使用神经成像模式和DL模型诊断ASD的研究。在表(1)中，sMRI、DTI、T- fMRI、rs-fMRI和fNIRS模式已被用于诊断ASD。

图(15)显示了使用DL技术诊断ASD的各种神经成像方法的论文数量。从图(15)可以看出，rs-fMRI模态在ASD的诊断和康复中比其他方法使用得更多。

图15 使用DL技术进行ASD诊断的各种模式的论文数量。

6.3 DL ASD诊断和康复工具箱

为了实现深度网络，已经提出了各种各样的深度学习工具箱。表1和表2描述了用于每个研究的DL工具箱的类型，图(16)展示了它们的使用总数。

由于其简单性，大多数研究都使用Keras工具箱。Keras提供了一致的高级应用程序编程接口(APIs)来更直接地构建模型。此外，由于所有预先训练的模型和GitHub等平台上的可用代码，Keras在研究人员中非常受欢迎。

图16 回顾文献中用于ASD患者诊断和康复的DL工具的数量。

6.4 DL方法在ASD诊断和康复中的应用

表(1)和(2)中列出了用于ASD诊断和康复的各种DL模型。表(1)和(2)显示，CNN、RNN、AE、DBN、CNN-RNN和CNN-AE模型已用于ASD诊断和康复。图(17)所示为回顾工作中用于ASD检测的DL网络数量。

在各种深度学习架构中，CNN是最受欢迎的，因为与其他深度方法相比，它取得了更有前途的结果。AE和RNN都取得了较好的效果。可以注意到，近年来，基于DL的论文的数量呈指数级增长，这是由于它们的良好性能以及大量而全面的数据集的可用性。

图17 回顾工作中用于ASD检测和康复的DL网络数量。

6.5 ASD诊断与康复的分类方法

DL网络中使用的各种分类算法的数量如图(18)所示。其中最好和最广泛使用的是Softmax算法(表(1)和(2))。它是最受欢迎的，因为它在整个域上是可微的，而且计算成本更低。

7 未来工作

在本节中，将介绍使用神经成像模式和DL模型对ASD诊断的未来工作。未来的工作包括开发数据集，DL方法和康复系统，这些将在以下部分进行讨论。

7.1 数据集的未来工作

在第5节(挑战)中，讨论了可用的数据集。在本节中，将讨论有关数据集的未来工作，包括提出各种结构和功能神经成像模式，不同类型ASD的数据集，以及多模态数据集。

7.1.1 神经成像数据集的未来工作

如前所述，ABIDE数据集包括ASD患者的不同MRI成像方式。在第5节中，讨论了该数据集由少数受试者的弥散张量成像(DTI)模式图像组成，不包含弥散加权成像(DWI)模式图像。因此，在未来的研究中，利用DL模型为ASD诊断提供可用的DTI和DWI数据集非常重要。

此外，还有一个数据集，用于包括ASD患者和健康对照(HC)的脑电图信号的研究。这个数据集的被试数量有限。因此，DL的研究还没有集中于此。此外，还没有提供给研究人员的MEG和fNIRS模式的公共数据集。在未来的工作中，提供这些数据集将有助于研究人员使用DL方法开发新的准确的ASD诊断系统。

7.1.2 未来的工作将涉及不同类型ASD的神经成像数据集

ASD有多种类型和强度。正如在挑战部分提到的，没有免费的神经成像数据集。在未来的研究中，更多免费获得的不同类型和强度的ASD患者的数据集有助于使用DL模型准确地检测ASD。

7.1.3 在多模态神经成像数据集的未来工作

在临床研究中，EEG-fNIRS、EEG-fMRI、EEG-MEG和MEG-DTI多模态被用于ASD诊断。为这些模式提供公共数据集可以帮助研究人员开发用于ASD诊断的DL模型。

7.2 深度学习方法在ASD诊断中的未来工作

在本文中，研究了各种DL方法用于ASD的神经影像学诊断。根据表(1)和(2)，标准DL方法已被用于ASD诊断。在下面几节中，对使用DL方法给出了一些建议，其中包括注意技术、增强技术和Transformer技术。

7.2.1 深度注意技术

近年来，注意技术已成为DL中最重要的概念之一。这些模型用于机器视觉、语音处理等领域。注意机制的主要思想是，每当模型预测输出时，处理的是输入中最相关信息集中的部分，而不是整个序列。其中一些方法包括基于深度注意的RNN、深度注意自动编码器、深度注意CNN和图注意CNN。基于注意力的模型提供了比基本模型更准确的信息解释和更好的信息描述。在未来的研究中，这些模型可以用于ASD的神经成像诊断。

7.2.2 数据增强技术

数据短缺是应用深度学习技术进行疾病诊断的科学家面临的一个难题。因此，各种数据增强技术被提出。GAN模型是应用DL技术解决ASD诊断中数据不足问题的最流行的数据增强技术之一。最近，简单的复制粘贴方法被提出用于数据增强。在未来的研究中，这种方法也可以用于使用神经成像方式进行ASD诊断的数据增强。

7.2.3 Transformer技术

Transformer技术是最近用于医疗数据分类的DL方法之一。关于Transformer模型的第一项工作已在一篇文章中介绍。在该体系结构中，注意机制与编码器和解码器一起使用。在未来的研究中，该模型可用于ASD的诊断。此外，新的Transformer模型，如图Transformer网络和深微分纯Transformer网络，可用于ASD诊断。

7.3 ASD康复系统的未来工作

许多研究者提出了各种基于DL的康复工具来帮助ASD患者。设计一种可靠、准确、可穿戴的低功耗DL算法设备是ASD患者的未来工具。一种可行的康复工具是佩戴智能眼镜来帮助自闭症儿童。这些内置摄像头的眼镜可以从不同方向的环境中获取图像。然后DL算法处理这些图像，并为ASD儿童产生有意义的图像，以便更好地与周围环境交流。

云计算是当今最重要的医疗技术之一，各种研究已将其用于疾病诊断应用。它有助于在云空间中存储数据，并实现各种DL模型。在未来的研究中，云计算可以使用神经成像模式和DL技术用于ASD诊断。

此外，在未来的研究中，物联网(IoT)可以用于ASD诊断。在大脑中心和医院缺乏专家是准确诊断ASD患者的一个挑战。因此，我们认为物联网技术和DL技术可以帮助准确诊断ASD。

此外，许多研究者提出了各种基于DL的康复工具来帮助ASD患者。设计一种可靠、准确、可穿戴的低功耗DL算法设备是ASD患者的未来工具。一种可行的康复工具是佩戴智能眼镜来帮助自闭症儿童。这些内置摄像头的眼镜可以从不同方向的环境中获取图像。然后DL算法处理这些图像，并为ASD儿童产生有意义的图像，以便更好地与周围环境交流。

8. 总结

ASD的典型特征是社交障碍、沟通障碍和刻板行为。各种方法已经提出了准确的ASD诊断，其中最重要的包括基于访谈的方法和神经影像学方法。在导论部分，文中讨论了干预技术，如tDCS和TMS。此外，还提供了ASD的诊断方法，包括心理测试和神经成像方法。

简要介绍了用于ASD诊断和康复的各种DL技术。表(1)列出了使用神经成像模式和DL模型开发的ASD诊断研究。表(1)总结了每篇论文使用的数据集、模态类型、预处理技术、DL网络类型、分类算法和性能标准的细节。表(2)列出了使用DL帮助ASD患者进行的康复研究。ASD诊断最重要的挑战是数据集，TMS和tDCS的不可用性，并详细研究了软件/硬件方面的挑战。文中还提出了未来最重要的工作，这些工作可能使研究人员能够开发出准确和稳健的模型。

DL在神经影像学临床应用中存在各种问题。它需要大量的数据进行训练。从ASD患者那里获得这些数据非常困难，因为孩子们可能不合作。另一方面，ASD诊断的黄金年龄是3岁。但是，由于儿童缺乏适当的配合，记录神经成像数据非常困难。此外，所有中心应使用类似的筛选设备来获取数据，以确保数据的同质性。不可用强大的图形处理器单元(GPU)和用于训练DL模型的高存储空间是另一个挑战。另一方面，解释和理解深度学习网络的输出需要大量的经验。因此，许多专家不愿意使用DL网络。