文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。
导读
时间分辨多元模式分析(MVPA)是分析脑磁图和脑电图(M/EEG)神经成像数据的常用技术，它量化了神经表征支持相关刺激维度识别的程度和时间进程。随着EEG在婴儿神经成像研究中的广泛应用，婴儿EEG数据的时间分辨MVPA是一种特别有前景的婴儿认知神经科学工具。近年来，MVPA已被应用于常见的婴儿成像方法，如EEG和fNIRS。在本教程中，研究者提供了用婴儿EEG数据实现MVPA的代码，并且提供了使用线性支持向量机(SVM)分类器实现MVPA的例子(附带了Matlab和Python中进行操作的代码)。测试数据集的结果表明，在婴儿和成人中，使用这种方法对刺激图像进行分类时产生了高于随机概率的精度。分类分析的扩展包括基于几何和精度的表征相似性分析，在Python中实现。由于婴儿研究中的无伪影EEG数据数量低于儿童和成人研究，研究者还探索和讨论了不同参与者水平的纳入阈值对这些数据集中MVPA结果的影响。
前言
在婴儿研究中，由于无法进行语言交流，从行为或神经成像数据推断婴儿的心理状态和表征一直以来都是一个挑战。功能性成像方法，如功能性近红外光谱(fNIRS)和脑电图(EEG)，由于其无创性和对运动的相对不敏感性，因而在婴儿研究中很受欢迎。这些方法提供了关于神经反应的高时间分辨率和有限的空间分辨率(EEG)或中等空间和有限的时间分辨率信息(fNIRS)，通常包括对刺激的群体平均反应。虽然这些方法可以揭示由不同刺激驱动的时间或振幅条件差异的信息，但传统的单变量方法，如ERP分析，依赖于一个或多个通道的平均值，忽略了这些集群包含的模式中可能表征的信息。
机器学习方法，包括多元模式分析(MVPA)或解码，该方法曾用于成人神经数据分析，在婴儿研究中也是具有前景的。MVPA不是在平均刺激-反应记录中发现差异，而是用于将一组通道的激活模式映射到特定刺激、任务或个体参与者的其他相关维度。利用机器学习分类技术，MVPA的目标是可靠地区分与刺激相关的激活模式，刺激类别或其他相关的实验条件或参与者的表型(例如，他们的注意状态或内在特质)。如果神经激活模式能够可靠地映射到刺激(即分类准确性高于随机概率)，那么这些神经模式支持对这些刺激的辨别是具有可信度的，尽管不能推断检测到的信息是否在不操纵这些神经模式的情况下驱动行为。该技术已应用于成人数据，主要是fMRI体素，可以从大脑活动中提取的信息，包括多变量、空间分布表征。多变量方法已用于许多研究背景和刺激模式，包括辨别痛觉刺激、局部触觉、面孔和听觉特性等。
多变量数据驱动方法在婴儿友好型神经成像工具(如EEG和fNIRS)上的应用进展，为发展研究者带来了希望，能够回答传统神经成像分析技术无法解决的问题。虽然现有的方法为婴儿研究奠定了基础，但收集和分析婴儿神经数据所固有的挑战需要具体的解决方法。婴儿数据常常受到招募的限制，由于婴儿的忍耐力和注意力有限，以及在收集神经数据时的肢体运动，可用试次的差异很大。
尽管婴儿MVPA存在固有的挑战，但这方面的进展也极大的促进了发展领域的研究。婴儿MVPA的潜在应用已被大量使用该方法分析成人功能神经成像数据的研究所证实，这超越了传统的单变量技术应用于感觉域和成像模式的研究。MVPA已经被用于研究语前婴儿和自闭症非语言儿童的语言编码和理解，因为在缺乏语言报告的情况下，获取这类群体的信息是非常困难的。MVPA还允许发展研究人员揭示传统单变量分析无法获取的神经数据信息，例如分布在多个通道上的反应模式。
最近有研究表明，应用MVPA量化婴儿EEG和fNIRS中听觉和/或视觉刺激表征的时间进程和特征是可行的，并为发展研究开辟了新的途径。在Bayet等人(2020)的研究中，从12~15个月大的婴儿以及成人在观看动物和身体部位的图像时获得的EEG数据来训练一个线性支持向量机(SVM)分类器。然后，通过4折交叉验证来评估这个刺激-反应映射函数的准确性，这是一个在数据子集上反复训练SVM分类器的过程，并在保留的子集上测试训练过的分类器(4折交叉验证为25%)。Bayet等人(2020)的激活模式在成人和婴儿对8种不同视觉刺激辨别的准确性都高于随机概率。在这些结果的基础上，本文概述了使用婴儿EEG数据进行时间分辨的被试内MVPA所需的步骤，总结了分类和验证的最佳实践结果，并讨论了这些方法的有效性，因为通常从婴儿EEG数据集获得的有效试次数量是有限的。
在本教程中，研究者描述了使用婴儿EEG数据进行时间分辨MVPA所需的步骤，讨论了不同的分析参数如何影响样本数据集中的结果。为了扩大开发研究人员的访问范围，使用已有的工具箱或函数为Python和Matlab提供了核心步骤分析的示例代码。
样本数据集
本研究的数据由12~15个月大的婴儿(N=21)和成人(N=9)在观看8张熟悉的静态视觉图像(猫、狗、兔子、熊、手、脚、嘴或鼻子)的EEG(进行了处理和归一化)组成。这些数据是使用EEGlab工具箱中的函数进行了如下预处理。
利用PREP工具箱检测和插值噪声通道，执行平均参考，去除线噪声。使用ERPlab工具箱中的函数，对这些连续数据进行0.2~200Hz的巴特沃斯滤波器滤波。滤波后的信号以20ms的滑动平均进行平滑处理，从-50到500ms进行分段，并进行基线校正。
试次排除条件：参与者在刺激呈现时没有看着屏幕；任何通道电压超过指定阈值(婴儿：±150μV，成人：±80μV)；或者在婴儿的离线视频编码和成人的EOGs中识别出眼动伪迹。最后，通过分段后的EEG取每个试次和通道基线周期的z分数，从而对电压进行归一化处理。样本数据集可以在https://github.com/Bayet Lab/infant-EEG-MVPA-tutorial网站上公开获取。
MVPA实现
代码：为了使本教程尽可能广泛地使用，研究者提供了在MATLAB (R2019b)和Python (Python 3)中实现分析步骤的示例。代码可在该网址公开获取https://github.com/BayetLab/infant-EEG-MVPA-tutorial，包括使用线性SVM分类器的解码和交叉验证精度操作(图1)。其他步骤仅在Python中提供。然而，一些矩阵运算在Matlab中计算得更快。这两种实现方式都产生了可用于比较的结果，并且基于排列的单因素方差分析(对跨时间点的多次比较进行了聚类校正)没有发现样本数据集的Matlab和python计算的分类精度时间序列之间存在显著的聚类差异(图2A，B)。
交叉验证和伪平均：许多MVPA实现的关键是交叉验证的使用。通过交叉验证，只有部分可用试次，即训练集，用于训练分类器。其余试次则为测试集。首先对每个参与者(例如75%)的大量数据进行分类器训练，以估计与感兴趣的维度或类别相关的激活模式。然后，基于分类器使用这些估计对保留测试集进行预测的能力，评估分类器的性能(图1)。
通过这种方式，分类精度反映了分类器成功地从支持识别训练集中(如猫或狗)的相关维数的训练集中提取模式，并将其推广到测试集中的程度。为了避免将数据特殊地划分为训练集和测试集，该过程以随机分配的方式重复多次来观察训练集和测试集。在本研究例子中，在每个参与者和条件中排列试次顺序(即，重复随机抽样)，形成四折(75-25%)交叉验证。之前的研究工作表明，k-折交叉验证(这里k=4折)比那些对整个数据集划分过多(留一法)或划分过少(分半法)的方法提供了更稳定的准确性估计。本研究中选择k=4是因为它在计算认知神经科学中经常使用，而且它可以容纳数量小到每个条件下4个可用的试次。然而，不同的k值预计会得到类似的结果。
由于EEG数据中通常存在高水平的噪声，因此在每个折交叉验证中对试次进行平均，以提高分类性能。例如，如果有两种刺激(如猫或狗)，每种刺激有20个可用试次，这些试次首先是随机排序的，并分为4折交叉验证，然后在每折中，对5个猫试次和5个狗试次平均，就有4个猫和4个狗伪试次。然后，进行试次的被试内分类，以便在每个时间点独立比较这两种刺激(如猫或狗)，3个伪试次用于训练，第4个用于测试。对200个试序排列重复这一过程，并对这些排列进行分类精度平均，以产生更为可靠的估计(图1)。
在某些情况下，可能需要在独立的验证数据集上对模型进行额外的测试，而不仅仅是交叉验证。例如，如果研究人员将交叉验证的准确性作为选择分类模型的指南，那么单凭交叉验证就会对最终模型的性能做出过于乐观的估计。即使它没有用于指导模型选择，某些研究问题也可能需要评估超出特定数据集参数的模型泛化。在这种情况下，可能需要在额外的验证数据集上测试最终的模型，以更好地估计模型的性能。
选择用于分类的响应特征：在当前示例中，使用跨通道的归一化电压值作为特征，对每个时间点独立训练分类器。由此得到的解码精度函数表示通道间归一化幅值如何有效地预测测试集中，刺激开始后的每个时间点，在给定的试次中出现了哪个刺激。研究人员可能希望实现具有选择特征的MVPA，如滚动时间窗期间的平均电压，或跨通道和频带的频谱功率，而不是电压。两种特征方法(即时域和频域)已被证明可以有效地解码刺激；然而，至少在某些范式中，不同的特征可能反映了知觉、认知或注意力的不同方面。例如，Desantis等人证明了电压值和alpha频带功率都能可靠地解码注意定向，然而alpha频带功率更与空间中的注意定向相关，而电压值标志着与注意相关的感知过程。然而，这些频率成分必须在一个时间窗口内提取，从而导致时间分辨率的损失和数据的潜在维数的增加。
选择分类算法：研究者使用线性SVM对每个时间点的通道电压模式进行分类。用于Matlab和Python的工具分别是Libsvm和scikit-learn’s svm.SVC函数。scikit-learn SVM的实现是基于Libsvm的，两者都能产生类似的结果。Libsvm支持SVM分类器的几种变体。在Python实现中，SVC的所有参数都为默认值。在Matlab实现中对SVM训练函数的调用指定一个线性核。SVM分类方法生成的超平面最大化地在高维空间中进行分类，考虑到用于分类的特征数量多，而可用的训练试次(观察)数量少，因此特别有效。SVM分类器选择的样本最大限度地扩大类别之间的距离，或支持向量定义类别之间的边界。支持向量的计算使得支持向量与划分类别的超平面之间的距离最大化。然后使用训练步骤中定义的决策边界对测试数据进行分类。
线性SVM分类器的替代选择包括非线性分类器(如高斯核SVM、深度神经网络)以及其他类型的线性分类器，如logistic回归、线性判别分析等。先前的MVPA研究表明，从预测精度和权重稳定性的方面来看，大多数线性分类方法的表现应该类似。虽然非线性分类器比线性分类器能考虑更多的特征，但如果样本量不大，这种分类模型容易出现过拟合。同样需要注意的是，SVM会在EEG特征的高维表征中寻找任何差异，包括数据中的噪声。
多路径分类也被评估为两两分类的替代策略。简单地说，8级分类和两两分类都产生了可比性的表现，并且他们的平均分类时间序列是显著相关的(成人：斯皮尔曼’s r[548]=0.95，p＜0.001；婴儿：r[548]=0.65，p＜0.001)。
测量和统计检验
输出：解码函数的输出是一个包含字段‘out’和‘results’的Matlab(.mat)文件。‘out’字段包含文件的字符串名称。‘results’字段包含一个4-d双矩阵产生的解码精度‘DA’，‘params_decoding’包含解码的结构参数，一个矩阵包含每个参与者在每个条件‘nreps’中完成的试次数量，以及一个数组‘times’，这是涵盖所有时间点的列表。
‘DA’字段是形状(参与者数量、时间点数量、条件数量、条件数量)的四维矩阵。也就是说，对于每个参与者，在每个时间点上，每个刺激对的平均成对解码精度都有一个上对角线矩阵。注意，为了避免重复，只有上对角矩阵(即对角上的矩阵元素)将包含数字，而对角线和下对角矩阵将包含NaNs(非数值)。
被试内成对分类精度：为了评估整个时间序列的总体分类精度，对所有被试和条件平均解码精度(DA)矩阵与机会水平进行比较(在成对分类的情况下为50%)。为了得到所有参与者的平均时间序列，每个条件的矩阵需要在参与者和条件对上求平均。这将生成一个一维数组，其中每个时间点包含一个平均精度值。为了分别检查每个参与者在时间序列上的成对解码精度，精度应仅在条件对上平均(即仅在第三和第四个维度上)：这将产生一个大小矩阵(参与者数量，时间点数量)，其中包含每个参与者在每个时间点的平均分类精度。(图2A，B)。
在本文示例中，在每个时间点使用单侧右尾F检验来计算概率分类精度的显著性，并对多重比较使用基于聚类的校正。这是使用MNE库中的集群排列测试函数实现的，旨在通过基于某些检验统计量(在本例中是每个时间点的F检验)生成数据集群，然后根据这些集群的大小进行推断，来实现非参数检验。这种非参数方法解决了多重比较的问题，无需假设检验统计量的特定分布或依赖于数据中的高斯分布。值得注意的是，用于分类精度的标准参数或非参数统计方法不支持超出平均效应以外的总体水平推断。换句话说，因为估计的分类精度的实际值永远不会低于随机概率，所以这个检验只能表明在样本中的某些个体中存在影响。如果需要更精确的总体推断，可以使用替代方法，例如检查观察到的效应在样本中的普遍性，而不是群体平均值。
在本文所提供的示例中，分类性能是根据成对分类的理论机会水平(即50%)进行评估的。然而，重要的是，由于随着样本量的增加，能够对噪声数据中的信号进行更为准确地估计，分类器的成功可能是由于每个刺激的试次数不匹配，而不是潜在的EEG特征。防止这种潜在偏差的一种方法是评估分类器在实验数据上的性能，将其与分类精度的经验“null”分布进行比较，这种分布是通过变换试次标签而得到的，同时保留每个刺激的不平衡的试次数量。实际上，在当前的样本数据集中，研究者发现，所有成对分类的总体经验概率水平略高(但存在统计学上p<0.001的显著性)于50%的理论概率水平(婴儿：M=50.80%，p<0.001；成人：M=50.60%，p<0.001)。重要的是，对于婴儿和成人来说，实验数据的分类精度都显著超过了这个经验概率水平，这表明从EEG数据中观察到刺激的高于概率的分类不能完全由刺激条件之间可用试次数量的不平衡来解释。
表征相似性分析：表征相似性分析(RSA)是一种多元分析方法，用于评估和比较神经表征的几何结构，即神经活动对不同刺激反应的相似性或相异性程度。RSA将任意因变量的反应差异映射到一个公共空间，从而可以将这些反应差异与其他反应差异进行比较，而不考虑这些测量本身(例如，EEG、fMRI、模型响应、行为差异评分)。相异性可以用多种方式量化，如欧式距离、配对相关和解码精度。在这里，本研究关注的是分类精度，可以直接从标准MVPA解码中获得，以及交叉验证的欧式距离可以作为一种特别可靠的相异性测量方法。
RSA的第一步是构建表征相异性矩阵(RDMs)，它描述了不同刺激类型的EEG特征模式之间的差异(图3A，B)。基于准确性的RDM只是跨刺激物集合成对分类准确性的一个矩阵。基于欧式距离的表征相似性测量需要一个单独的解码步骤。欧氏解码的过程与SVM的解码过程非常相似，但是计算值之间的欧氏距离，以及额外的交叉验证步骤以提高信噪比，而不是分类精度。根据Walther等人所描述的公式，计算两种刺激下的平均EEG电压值之间的差值，用于两种刺激伪试次的测试和训练集，并相乘。这创建了一个更稳定的表征差异估计，假设噪音是独立于两个数据集。基于欧式距离的RDM的计算过程与上述相同。RDM可以用于测试计算和认知理论，并允许在不确定表征空间之间转换的情况下对表征进行比较。注意，实际上，与RSA进行组比较的能力受到刺激数量的限制。在这个例子中，RDM包含8对刺激之间的28个距离；基于这个距离数，分析组间或时间窗间的相关RDM，理论上在功率为80%的情况下，可以检测到r~0.45或更高的相关性。
数据预处理流程的影响
对于不同预处理参数带来的影响和系统的探索超出了本教程的范围。然而，本研究重点关注应用于样本MVPA数据集的预处理参数，这些参数不同于通常用于婴儿脑电图的单变量ERP分析或成人MEG/EEG数据的MVPA。
首先，在0.2~200 Hz的频率下对连续的EEG信号进行滤波，并使用PREP分别对线噪声进行校正。在对感兴趣的时间窗进行ERP振幅分析之前，通常会对连续的婴儿EEG信号进行更严格的滤波(如0.3~30 Hz)。然而，更宽松的滤波更适合于时间分辨的分析，如ERP潜伏期分析或时间分辨的MVPA，以使潜在信号的时间失真最小化。连续电压时间序列的时间平滑是额外应用20毫秒的bin。虽然这种时间平滑在ERP分析中并不常见，但它对MVPA分类性能提供了适度的提升。
其次，按照成人MEG数据MVPA的常见做法，在每个通道和试次中，对EEG的epoch按基线求z分数，而不是简单地进行基线校正(这是典型的ERP分析)。为了评估这个z分数归一化对分类精度时间序列的影响，研究者接下来计算并比较了从z分数和非z分数(即基线校正)数据中获得的分类精度时间序列。对z分数和非z分数数据的分类精度均高于概率精度(图2)。在成人和婴儿数据集的时间序列上，z分数和非z分数数据的分类精度显著相关(图2C，D)。从z分数和非z分数数据导出的分类精度的时间序列也使用非参数聚类校正测试进行了差异显著性比较。婴儿数据没有发现显著差异，尽管在某些时间点上，非z分数的分类精度显著高于成人的z分数数据(图2D)。
因此，对于每个EEG数据集的时间分辨MVPA，z分数归一化可能并不总是有用的。尽管如此，但由于归一化方法对于可靠估计相异性方面存在优势，并且为了防止相对噪声较大的通道可能影响结果，在本教程中使用z分数数据进行分析。
最后，由于婴儿数据本身就是有噪声的，为了防止由噪声驱动的假阳性结果，对样本数据集进行基于电压和行为的伪迹剔除。一些研究人员选择在成人数据的MVPA分析中不做伪迹拒绝，因为交叉验证的机器学习过程可以允许分类器忽略噪声通道，并避免丢失有意义的数据。然而，分类器对噪声的敏感程度可能取决于数据中存在的噪声的程度和结构。应用适合于婴儿脑电图数据的伪迹拒绝步骤，可以防止过高估计婴儿神经表征支持对感兴趣变量的精确分类的程度。
有限试次数量和参与者纳入标准的影响
很难收集到足够的有效试次进行分析，这对婴儿研究领域来说是一种阻碍。一般来说，由于不同数据和研究群体的特征不同，不可能预先说明每个刺激需要多少有效的试次才能产生渐近解码精度(即，试图进行分类的最大可能精度)。由于本研究样本数据集的试次重复次数相对有限，因此本研究设计并不支持渐近分类精度，但接下来研究者试图评估数据集收集后的数据纳入决策带来的影响。具体地说，研究者提出了这样一个问题：改变每个条件下的有效试次总数，或者改变每个条件下的最小有效试次数，是否会影响分类精度和估计表征距离的可靠性。
为了评估有效试次数量对解码精度稳定性的相对影响，建立包含完全满足不同试次数量阈值的参与者数据的子集。也就是说，在阈值为4时，在一个子集中，从每种条件中随机选择4个试次，在有足够可用数据的参与者中进行分析。在不同的子集中，所有来自符合阈值的参与者的可用试次数据都被包括在内。在示例数据集中，随着参与者被纳入分析的试次阈值变得更加严格，被纳入分析的参与者数量减少(图4)。
对分类精度的影响：正如预期的那样，在婴儿和成人中，当试次在阈值处不再增加时，与使用所有可用试次相比，其分类精度降低。结果显示，在婴儿和成人数据中，无论试次数阈值如何，在高于概率精度的时间点上是相似的(图5)。在成人数据集中，有效试次数越多，分类精度越高，正如预期的那，每个参与者包含的确切试次数与总体分类精度之间呈正相关。然而，这种模式在婴儿数据集中不太明显(图5)。在每个条件10个试次的最严格阈值下，婴儿数据上的分类精度更高。这种结果模式可能反映了少量参与者数据的特殊性。
表征相异性矩阵可靠性的影响：使用斯皮尔曼-布朗分半可靠性方法，具体来说，皮尔逊相关系数是对组水平RDM之间的估计，对整组进行随机分半估计。这些估计的统计显著性是由重复相同的分半过程来确定的(图5B，D)。在考虑的每个时间窗口(峰前、峰中和峰后精度)中，计算可靠性和试次数阈值之间的斯皮尔曼相关性，并在时间窗口和n个或至少n个试次阈值组中进行FDR校正。FDR校正后，分类精度RDM和试次阈值的可靠性之间没有关系。然而，在成人数据的n个试次子集中，欧氏距离RDM的可靠性与试次阈值在所有时间窗口中均显著相关。这些结果表明，对于具有较小数量的婴儿数据集的组水平RSA，减少参与者纳入所需的无伪迹试次的数量不一定会降低结果组RDM的可靠性，事实上，如果参与者的数量增加，可能会在一些数据集中产生更为可靠的估计，即在婴儿的每个刺激试次数量和婴儿数量之间存在一种权衡(图5B，D)。
讨论
本教程旨在扩展对时间分辨MVPA的使用，并促进其未来在新的发展研究中的应用。由于从醒着的婴儿群体中收集其fMRI数据非常困难，而EEG数据收集相对容易，因此将MVPA应用于婴儿EEG的标准化方法是非常有价值的。用两种常用的编程语言(Matlab、Python)大大提高了该方法的可用性，这两种实现过程得到的结果是相似的。该方法成功地对婴儿和成人EEG数据进行了可靠的解码，即使在试次数有限的情况下，婴儿EEG数据的分类精度也显著高于随机概率分类。
但MVPA作为一种获得神经表征的方法也存在一定局限性。首先，像单变量分析一样，MVPA对区分类别的任何模式都很敏感。不能保证这种多元模式的潜在原因是感兴趣的认知过程，而不是一些虚假的或混淆的因素，比如刺激亮度、大小等等。其次，与人工神经网络等非线性方法相比，线性分类使用较少的数据就能产生稳健的结果，但这种方法会受到分类方法固有线性假设的限制。虽然有理论和实践研究支持使用MVPA评估神经表征，但存在一种可能性，即大脑的激活可能依赖于非线性模式，而这些激活模式不适合分类器的线性约束。因此，线性分类器可能低估了可用于婴儿分布式神经模式的信息。
尽管存在这些局限性，但本教程确实证明了时间分辨MVPA用于检测婴儿脑电图激活模式的可行性，并为其实施提供了实际指导。未来的研究可以进一步将MVPA与婴儿数据的应用扩展到其他神经成像模式(如fMRI、时频、源定位)，以更好地解决婴儿神经成像的局限性。
原文：Time-resolved multivariate pattern analysis of infant EEG data: A practical tutorial.
https://doi.org/10.1016/j.dcn.2022.101094
本教程附带代码详见网址：https://github.com/BayetLab/infant-EEG-MVPA-tutorial