3 2020-Deep Learning for Neuroimaging-based Diagnosis and Rehabilitation of ASD: A Review

Abstract

正确诊断自闭症谱系障碍（ASD）对于管理和康复至关重要。非侵入性的神经成像技术是疾病的标志物，可用于辅助ASD诊断。结构和功能性神经成像技术可为医生提供有关大脑结构（解剖结构和结构性交流）和功能（活动性和功能性交流）的大量信息。由于大脑的复杂结构和功能，使用神经影像数据诊断ASD而不利用人工智能（AI）技术非常具有挑战性。 AI技术包括传统的机器学习（ML）方法和深度学习（DL）技术。常规的ML方法采用了多种特征提取和分类技术，但是在DL中，特征提取和分类的过程是智能且完整地完成的。 本文对利用DL网络与ASD进行区分的研究进行了研究。还评估了使用DL网络为ASD患者提供支持的康复工具。最后，我们提出了自动检测和康复ASD的重要挑战。

1. INTRODUCTION

  ASD是一种神经系统疾病，会影响大脑并导致言语，社交互动和沟通缺陷，重复行为以及运动能力延迟[1]。 该疾病通常可以通过现存的诊断方案与之相区别。 自闭症会影响大脑的许多部位。 这种疾病还通过基因相互作用或多态性而涉及遗传影响[2]，[3]。 全球70名儿童中有1名患有自闭症。 2018年，据估计美国10,000名儿童中有168名发生了自闭症，这是全球患病率最高的国家之一。 自闭症在男孩中比在女孩中更为普遍。 在美国，约3到17岁的男孩中有3.63％患有自闭症谱系障碍，而女孩的这一比例约为1.25％[4]。
  诊断ASD很困难，因为没有病理生理指标，而是依靠心理标准[5]。 心理工具可以识别个人行为，社交互动水平，促进早期诊断。 行为评估包括各种工具和问卷，以帮助医生确定儿童发育的特定类型的延迟，包括临床观察，病史，自闭症诊断说明以及成长和智力测验[6]。
  最近，已经对神经影像数据（结构和功能）进行了一些诊断ASD的研究。
  用结构神经影像学分析大脑区域的解剖联系是研究ASD中大脑结构性疾病的重要工具。 用于结构性脑成像的主要工具是磁共振成像（MRI）技术[7]，[8]，[9]。 通过结构性MRI（sMRI）图像定义大脑解剖结构，并通过扩散张量成像MRI（DTI-MR）评估解剖学连接[10]。使用功能性神经成像研究大脑区域的活动和功能连接可用于研究ASD。脑功能诊断工具是比前两种研究ASD的方法更老的方法。功能神经成像的最基本形式是脑电图（EEG） ，它以高时间分辨率（以毫秒为单位）记录来自头表面的大脑电活动[11]。在ASD中采用EEG信号的研究非常有用[12]，[13]，[14]。功能性MRI（fMRI）是功能性脑部疾病中最有前途的成像方式之一，用作基于任务的T-fMRI或静止状态功能性磁共振成像（rs-fMRI）[15]，[16]。 基于fMRI的技术具有较高的空间分辨率（以毫米为单位），但由于大脑的血液动力学系统的响应以及fMRI成像时间的限制，因此具有较低的时间分辨率，因此对于记录大脑的快速动态而言并不理想活动。
  另外，这些过程对运动伪像具有很高的敏感性。应该强调的是，与研究相结合，三种较不普遍的脑电图（ECoG）[17]，功能近红外光谱（fNIRS）[18]和脑磁图（MEG）[19]也可以在ASD中获得合理的表现。 一种合适的方法是利用机器学习技术以及功能和结构数据在准确评估ASD的过程中与医生合作。在ASD领域，应用机器学习方法通​​常需要两类传统方法[20]和DL方法[21]。与传统方法相反，在DL方法上探索ASD或设计修复工具的工作少得多。
  这项研究回顾了ASD评估方法和DL网络对患者的康复。这个文章的概述如下。第2节是搜索策略。第3节简要介绍了ASD领域中使用的DL网络。在第4节中，使用大脑功能和结构数据来审查现有的计算机辅助诊断系统（CADS）。在第5节中，介绍了基于DL的康复工具来支持ASD患者。第6节讨论了本文。第7节揭示了用DL进行ASD诊断和康复的挑战。最后，本文总结了第8节中的内容，并提出了今后的工作建议。

2. SEARCH STRATEGY

  在这篇评论中，IEEE Xplore，ScienceDirect，SpringerLink，ACM以及其他会议或期刊被用于获取有关使用DL方法进行ASD诊断的论文。 此外，关键词“ ASD”，“自闭症谱系障碍”和“深度学习”用于选择论文。 作者（AK，SN）对论文进行了分析，直到2020年6月3日。 图1描述了每年使用DL方法自动检测ASD的已考虑论文数量。

3. DEEP LEARNING TECHNIQUES FOR ASD DIAGNOSIS AND REHABILITATION

   如今，DL算法已用于许多医学领域，包括结构和功能性神经成像。 DL神经成像的应用范围包括脑部MR图像分割[22]，检测脑部病变（例如肿瘤）[23]，诊断脑功能障碍（例如ASD [24]）以及生成人工结构或功能性脑部图像[25]。 // 机器学习技术分为三类基本学习：监督学习[26]，无监督学习[27]和强化学习[28]，并且为每种类型提供了多种DL网络。 到目前为止，大多数用于通过DL识别ASD的研究都是基于监督或非监督方法。 在图2中，举例说明了具有DL网络的家庭常用类型，这些网络具有受监督或不受监督的网络来研究ASD。

4. CADS-BASED DEEP LEARNING TECHNIQUES FOR ADS DIAGNOSIS BY NEUROIMAGING DATA

  传统的基于人工智能（AI）的CADS包含数据采集，数据预处理，特征提取和分类的多个阶段[29]，[30]，[31]，[32]。 在这些研究中[33]，[34]，[35]，现有的传统算法已用于诊断ASD。 但是，在基于DL的CADS中，特征提取和分类是在模型中智能地执行的。 而且，由于DL网络的结构，必须使用大型数据集来训练DL网络并识别数据集中的复杂模式。 图3显示了用于ASD检测的基于DL的CADS的组件。从图中可以看出，首先引入了大型免费数据库来诊断ASD。 第二步，对要检查的功能和结构数据使用各种预处理技术。 最后，将DL网络应用于预处理后的数据。

4.1. Neuroimaging ASD Datasets

  数据集作为CADS开发的输入，而CADS的功能主要取决于输入数据的影响。要诊断ASD，可以使用各种大脑功能和结构数据集。可用的最完整的免费数据集是ABIDE [36]数据集，具有两个子集：ABIDEI和ABIDE-II，其中包含sMRI，rs-fMRI和表型数据。 ABIDE-I涉及来自17个国际站点的数据，总共产生1112个数据集，包括539个来自ASD的个体和573个健康的个体（64-7岁）。根据HIPAA准则和1000 FCP / INDI协议，这些数据是匿名的。相反，ABIDEII包含来自19个国际站点的数据，以及来自521个ASD个体和593个健康个体（5-64岁）的1114个数据集。此外，研究人员可以免费下载称为PCP [37]的ABIDE-I系列预处理图像。最近发布的第二个ASD诊断数据库称为NDAR，它包含变体形式，更多信息在[38]中提供。

4.2. Preprocessing Techniques

  神经影像数据（尤其是功能影像数据）的结构相对复杂，如果未对其进行适当的预处理，则可能会影响最终的诊断。 对该数据的预处理通常需要由不同的软件作为标准执行多个通用步骤。 确实，偶尔将准备好的管道应用于数据集以生成预处理的数据以供将来研究。 在以下部分中，简要说明了fMRI数据的预处理步骤。
  1）标准（低级）fMRI预处理步骤：fMRI图像的低级预处理通常将固定步骤应用于数据，通常使用准备好的工具箱来减少执行时间并提高准确性。 其中一些知名的工具箱包含FMRIB软件库（FSL）[39]，BET [40]，FreeSurfer [41]和SPM [42]。 同样，重要且至关重要的fMRI预处理结合了大脑提取，空间平滑，时间滤波，运动校正，切片时间校正，强度归一化和对标准图集的配准，这些内容已进行了总结。
  脑提取：目标是从功能磁共振成像图像中去除颅骨和小脑，并维持脑组织[43]，[44]，[45]。
  空间平滑：涉及对相邻体素信号进行平均。 由于邻近的大脑体素通常在功能和血液供应方面密切相关，因此该过程具有说服力[43]，[44]，[45]。
  时间滤波：目的是在不损害目标信号的情况下从体素的时间序列中消除不需要的分量[43]，[44]，[45]。
  实施（运动矫正）：在功能磁共振成像测试期间，人们经常摇头。 运动校正的目的是将所有图像与参考图像对齐，以便在所有fMRI体积图像中体素的坐标和方向相同[43]，[44]，[45]。
  切片时间校正：修改切片时间的目的是调整体素的时间序列，以使每个fMRI体积图像中的所有体素具有相同的参考时间。通常，将每个fMRI体积图像中第一个切片记录的相应时间选择为参考时间[43]，[44]，[45]。
  强度归一化：在此阶段，功能磁共振成像信号的平均强度将重新调整以补偿记录时段内和之间的全局偏差[43]，[44]，[45]。标准图册的注册：人脑包含数百个皮质和皮质下区域，这些区域具有不同的结构和功能，每个区域都非常耗时且研究复杂。为了克服这个问题，我们使用脑图谱将脑图像划分为一定数量的ROI，然后可以提取每个ROI的平均时间序列[46]。 ABIDE数据集具有多种地图集，包括自动解剖标记（AAL）[47]，Eickhoff-Zilles（EZ）[48]，哈佛牛津（HO）[49]，Talaraich和Tournoux（TT）[50]，Dosenbach 160 [ 51]，Craddock 200（CC200）[52]和Craddock 400（CC400）[53]以及其他信息提供[54]。表I提供了有关预处理工具，地图集的完整信息，以及一些其他预处理信息。
  2）管道方法：管道显示ABIDE数据库的预处理图像。 它们包含通用的预处理程序。 使用管道，可以将不同的方法相互比较。 在ABIDE数据集中，预处理是通过四种流水线技术进行的：神经影像分析工具包（NIAK）[55]，用于rs-fMRI的数据处理助手（DPARSF）[56]，用于连接组分析的可配置流水线（CPAC）[57]。 或连接组计算系统（CCS）[58]。 各个管线执行的预处理步骤相对类似。 主要区别在于每个步骤的特定算法，软件仿真和所应用的参数。 [54]中提供了每种流水线技术的详细信息。 表I演示了利用DL进行的自闭症检测研究中使用的管道技术。
  3）高级预处理步骤：高级技术对大脑数据进行预处理非常重要，将其与初步的预处理方法配合使用可以提高ASD识别的准确性。 在对功能和结构性大脑数据进行标准预处理之后，将应用这些方法。 这些包括滑动窗口（SW）[24]，数据增强（DA）[59]，功能连接矩阵（FCM）[60]，[61]和快速傅立叶变换（FFT）[62]。 此外，一些研究利用特征提取[63]技术和其他特征选择方法。 在表I中详细指出了有关测定研究的准确信息。

4.3. Deep Neural Networks

  近年来，包括ASD诊断在内的各种医学应用中的深度学习已变得非常流行。 在本文的此部分中，检查了用于ASD检测的深度学习网络的类型，包括CNN，RNN，AE，DBN，CNN-RNN和CNN-AE模型。
  1）卷积神经网络（CNN）：在此讨论中，对用于ASD诊断的流行卷积网络的类型进行了调查。 这些网络涉及1D-CNN，2DCNN，3D-CNN模型以及各种预训练的网络，例如VGG。
一维和二维神经网络
  数据中存在许多空间相关性，很难从数据中提取这些隐藏的签名。卷积网络使用类似的结构来卷积滤波器，以正确地提取这些特征，并有助于认识到应当在考虑空间依赖性的情况下处理特征，并且显着减少网络参数的数量。这些网络的主要应用是图像处理，由于二维（2D）图像输入，卷积层形成2D结构，这就是为什么这些网络是2D卷积神经网络（2D-CNN）的原因。通过将数据转换为一维信号，卷积层的结构也类似于数据结构[64]。在卷积网络中，假设变体数据部分不需要学习不同的过滤器，则参数的数量将显着减少，这使得用更多边界数据库训练这些网络变得可行[21]。图4显示了用于ASD检测的2D-CNN框图。

3D神经网络
  通过将数据转换为三维，卷积网络也将被更改为三维格式（图5）。 应当注意的是，由于各种原因，对3D CNN（3D-CNN）网络的操作比1D-CNN和2D-CNN网络的收益少。 首先，训练这些网络所需的数据必须非常大，这通常是无法利用的，并且此处无法使用在二维网络中广泛使用的诸如预训练之类的方法。 另一个原因是，随着网络结构更加复杂，固定层数和网络变得更加困难。 在3D CNN卷积期间生成的3D激活图对于分析体积或时间上下文至关重要的数据至关重要。 这种在上下文中分析一系列帧或图像的能力已导致将3D CNN用作动作检测和医学成像评估的工具。 [65]。

  2）深度信念网络（DBN）：尽管DBN如今不像以前那样流行，并且已被新模型替代以执行各种应用（用于无监督学习的自动编码器，用于生成模式的生成对抗网络[GAN] [66] ，变分自动编码器（VAE）[67]）， 尽管在这个时代这种网络的使用受到限制，但它们对神经网络发展的影响却不容忽视。 本文中这些网络的使用与特征提取有关，而无需主管或网络的预培训。 这些网络充当无监督的角色，由输入层之后的几层组成，如图6所示。这些网络的训练是从头到尾贪婪地完成的，换句话说，对每个单独的层进行训练，然后对下一层进行训练。 附加。 训练后，这些网络用于特征提取方法或具有训练权重的网络[21]。

  3）自动编码器（AE）：自动编码器（AE）已有30多年的历史，并且为了提高其性能，多年来进行了重大更改。但是这些网络的整体结构保持不变[21]。这些网络由两部分组成：编码器和解码器，因此输入的第一部分导致在潜在空间中进行编码，而解码器部分则努力进行代码转换。转换为初步数据（图7）。自动编码器是前馈神经网络的特殊类型，其中输入与输出相同。他们将输入压缩为低维代码，然后从此表示形式重构输出。代码是输入的紧凑摘要或压缩，也称为潜在空间表示。已经提出了多种方法来阻止网络存储的数据，包括稀疏AE（SpAE）和降噪AE（DAE）[21]。 如果对自动编码器进行了适当的训练，则编码器层可以在这种类型的无监督预训练中提取特征。网络。

  4）递归神经网络（RNN）：在卷积网络中，解决了数据中的各种空间依赖性。 但是，数据之间的相互依赖性并不局限于此模型。例如，时间序列的相互依赖性可能相距甚远，另一方面，这些序列的长期和可变长度导致普通网络的性能不足以处理这些数据。 为了克服这些问题，可以使用RNN网络。 提议使用LSTM结构来提取数据中的长期和短期依存关系（图8）。 LSTM之后又开发了另一种众所周知的结构，称为GRU，此后，人们已尽最大努力来增强这两种结构并使其对挑战具有抵抗力（例如，使用GRU-D [68]查找丢失的数据）。

  5）CNN-RNN：这些网络的最初想法是利用卷积层来修改RNN的性能，以便可以利用两个网络的优势。 一方面，CNNRNN使得可以通过RNN的接收来接收时间相关性，另一方面，它发现了借助卷积层来接收数据中空间相关性的可能性[69]。 这些网络对于分析一个以上维度（例如视频）的时间序列非常有益[70]，但更简单的是，这些网络还可以进行三维数据分析，因此，无需进行更复杂的3D设计， CNN，偶尔使用带有RNN网络的2D-CNN。 该模型的优越性归因于采用预训练模型的可行性。 图9展示了CNN-RNN模型。

  6）CNN-AE： 在构建这些网络时，主要目的和前提条件是减少参数数量。 仅改变卷积的网络层就可以显着减少参数的数量，将AE与卷积结构结合起来也可以发挥重要作用。 这有助于在不更改数据库大小的情况下利用更多维度的数据并从数据中提取更多信息。 相似的结构，无论是否进行某种修改，都在图像分割中广泛部署[71]，同样，无监督的网络也可以用于网络预训练或特征提取。 图10描绘了用于ASD检测的CNN-AE网络。 在表I和II中，分别提供了有关使用DL检测和康复ASD患者的论文摘要。

5. DEEP LEARNING TECHNIQUES FOR ADS REHABILITATION

  康复工具用于多种医学领域，其主要目的是帮助患者在治疗后康复。 已经提出了使用DL算法的各种和多种康复工具。 用于帮助ASD患者使用移动设备，计算机应用程序，机器人设备，云系统和眼睛跟踪的修复工具，下面将进行讨论。 此外，表II中还显示了有关使用DL算法对ASD患者进行康复治疗的论文摘要。

5.1. Mobile and Software Applications

  面部表情是自闭症儿童非语言交流的一种关键方式，在社交互动中起着举足轻重的作用。使用BCI系统可以深入了解用户的内在情绪状态。 Valles等。 [72]进行了针对移动软件设计的研究，以为ASD儿童提供帮助。他们的目的是根据图11设计基于面部图像的智能iOS应用。通过这种方式，首先拍摄了不同角度和亮度的人脸，并将其转变为各种表情符号，以便自闭症儿童可以表达自己的感受和情绪。在小组的主要调查[72]中，建立了Kaggle（2013年面部表情识别）和KDEF（Kaggle的FER2013和Karolinska定向情感面孔）数据库来训练VGG-16。此外，LEAP系统已经过改装，可以在德克萨斯大学训练模型。该研究提供了最高的准确率86.44％。在另一项类似的研究中，他们达到了78.32％的准确性[73]。

5.2. Cloud Systems

  Mohammadian等。 [74]提出了DL的新应用，以通过应用多轴惯性测量单元（IMU）来促进自动定型电机运动（SMM）的识别。 他们已应用CNN将多传感器时间序列转换为特征空间。 然后，将LSTM网络与CNN组合在一起，以获取SMM识别中的时间模式。 最后，他们采用了分类选择投票法，将最优秀的基础学习者组合在一起。 经过各种实验，已证明了他们提出的程序比其他基本方法的优越性。 图12显示了实时SMM检测系统。 首先，IMU是可穿戴传感器，用于数据收集。 然后可以在本地或远程分析数据（使用Wi-Fi将数据传输到平板电脑，手机，医疗中心服务器等）以识别SMM。 如果检测到异常动作，警报将发送给治疗师或父母。

5.2. Eye Tracking

  Wu等 [75]提出了自闭症儿童的DL显着性预测模型。 他们在拟议范式中使用了DCN，并输出了SM显着性图。 然后，固定密度图（FDM）由单面削波（SSC）处理，以将建议的损失函数与SM显着图一起作为真实标签进行优化。 最后，他们利用了自闭症眼动追踪数据集来测试模型。 他们提出的模型优于其他基本方法。 Elbattah等。 [76]旨在采用无监督机器学习来检测ASD中的集群。 他们的主要目标是学习基于视觉表示簇的眼动扫描路径。 第一步涉及到眼动轨迹的可视化，并且从该步骤捕获的图像被馈送到自动编码器以学习特征。 利用自动编码器功能，使用K-Means算法开发聚类模型。 他们的方法比其他最新技术表现更好。

6. DISCUSSION

  在这项研究中，我们对ASD诊断CADS系统以及针对ASD患者的基于DL的康复工具进行了广泛的研究概述。 在ASD诊断领域，使用功能和结构数据以及康复工具发表了许多论文，如附录表III所示。 已经提出了各种用于实现深度网络的DL工具箱。 在表I和I中，每个研究使用的DL工具箱的类型如图13所示。Keras工具由于其简单性而在大多数研究中使用，并提供一致的高级应用程序编程接口（API）来构建模型 。

  图14显示了用于审查的工作中用于ASD检测的深度学习网络的数量。在各种DL架构中，与其他深度方法相比，CNN取得了更可喜的结果，因此被发现更为流行。 自动编码器以及RNN均取得了令人满意的结果。

  DL网络中使用的各种分类算法的数量如图15所示。最佳和使用最广泛的算法之一是Softmax算法（表I和II）。 它是最流行的，因为它在整个域中都是可区分的，并且计算上更便宜。

7. CHALLENGES

  在本节中，已使用基于DL的技术解决了ASD诊断范围内一些最重大的挑战，其中包括数据库和算法问题。 在公共领域中只有两类大脑结构和功能数据集（ASD和健康数据集）可用。因此，研究人员无法将研究范围扩大到其他类型的ASD疾病。用于诊断的最便宜，最实用的功能性神经筛查方法之一是ASDareEEG和fNIRS。但不幸的是，可免费获得的数据集的不足导致该领域的研究很少。另一个障碍是，研究人员无法使用诸如EEG-fMRI的多模态数据库来评估将信息纳入不同成像模态中检测ASD的有效性。但是，尽管在ABIDE数据集中普遍存在fMRI和sMRI数据，但尚未研究将这些结构和功能数据合并用于DL的ASD诊断的结果。 困扰研究人员的另一个问题是设计具有硬件资源的基于DL的康复系统。如今，为研究人员分配了辅助工具（例如Google Colab）以提高处理能力，但在现实环境中实施这些系统时，仍然存在问题。

8. CONCLUSION AND FUTURE WORKS

  ASD的典型特征是社交障碍，沟通障碍和刻板印象的行为。已经开发出许多计算机辅助诊断系统和康复工具来协助自闭症患者。在这项调查中，我们首先评估了使用DL以及功能和结构数据进行ASD诊断的研究。研究人员利用深层的CNN，RNN，AE和CNN-RNN网络来改善其系统的性能。提高了系统的准确性，泛化能力和适应不同的数据和现实世界的挑战，以及将硬件功耗要求降低到最终所有人都可以使用的程度，是这些系统的主要挑战。为了提高将来用于ASD检测的CADS的准确性和性能，可以利用深度增强网络（RL）或GAN。数据稀缺始终是医学领域中最重要的问题，借助这些深层GAN可以相对解决。
  许多研究人员提出了各种基于DL的康复工具来帮助ASD患者。设计一种可靠，准确且可穿戴的低功耗DL算法设备是ASD患者的未来工具。可以实现的康复工具是戴上智能眼镜，以帮助患有自闭症的儿童。这些带有内置相机的眼镜将从不同的环境方向获取图像。然后，DL算法处理这些图像，并向ASD儿童生成有意义的图像，以更好地与周围环境进行交流。