【文献阅读】MEG和EEG的多变量模式分析对比

原文：Multivariate pattern analysis of MEG and EEG: A comparison of representational structure in time and space
MEG和EEG的多变量模式分析：表征性结构在时间和空间的比较

亮点：系统比较了MEG和EEG在采用SVM的RSA分析时的结果差异，其比较思路和技术细节值得参考，例如给出了采用方法的详尽理由，包括优点辨析和成功条件。也展示了如何用RSA结合EEG/MEG和fMRI进行研究。可以加深理解MEG、EEG差异，以及RSA分析方法的使用逻辑和注意问题。
【内容】为个人思考补充

摘要

脑磁图MEG和脑电图EEG来进行多变量模式分析可以揭示认知背后的高时间分辨率的神经机制，但问题是MEG和EEG的神经活动采样存在系统的差异。
Method：为了解释这个问题，在被试观看日常物体的图像时进行了同步的脑磁图MEG/脑电图EEG研究。对脑磁图和脑电图数据进行多变量分类分析（multivariate classification analyses），互相比较时间进程下的结果，并对功能磁共振成像数据进行单独的空间分析。
Result：脑磁图和脑电图显示的视觉处理的毫秒级时空变化基本一致。除了产生收敛的结果外，也发现了脑磁图和脑电图对于视觉表征部分独特的方面。相较于EEG，在MEG这些独特的成分较早出现。通过fMRI识别这些独特成分的来源，无论脑磁图还是脑电图都来自于高级视觉皮层，而脑磁图还显示了来自低水平视觉皮层的成分。
Conclusion：总之，对MEG和EEG数据的多变量分析提供了一个关于神经处理的趋同和互补的观点，并促使在MEG和EEG研究中更广泛地采用这些方法。

引言

• 背景

  MEG和EEG的多变量模式分析揭示了神经活动随时间变化的细粒度特征。最近的研究已经采用了多变量分析，如模式识别和表征相似性分析（RSA），这些快速增多的研究表明MEG和EEG信号包含了一系列感觉和知觉加工的信息。
  虽然从原则上，MEG和EEG信号来自于相同的神经源，但由于多种原因，典型的来自皮层锥体细胞顶端树突（apical dendrites of pyramidal cells in cortex）的突触后电流（postsynaptic currents），在产生的磁场和电场中存在一致的物理差异。
  第一，径向源（Radially oriented sources）在EEG中很突出，但在MEG中几乎不显现。
  第二，MEG和EEG的（tangentially-oriented sources）切向源空间模式完全无关，导致了不同的神经活动空间采样。
  第三，EEG比MEG对于深层源更加敏感。
  第四，不同于MEG，EEG测量体积电流（volume currents）会被不同的脑部组织所污染干扰。

  
  
  Sensitivity of MEG and EEG to Source Orientation

• 研究问题提出

  这些不同说明MEG和EEG对于一些常见或特殊的神经表征敏感。这已经被大量研究所证实，包括了理论论证以及主要是病源定位和癫痫病的实践和实验研究。【目的】然而，MEG和EEG在多变量分析（如RSA和分类）中的关系还未被验证过。因此，有两个尚未解决的问题是当采用MEG或EEG时，多变量结果是否可以比较，以及在某种程度上它们能揭示视觉表征的共同或特殊的方面。

• 采用方法

  让被试在观看不同种类物体图片时同时记录他们的MEG和EEG信号。之后采用了同样的多变量模式分析，并通过以下方式比较了时域的结果：1）评估物体和类别的时间进程可通过模式分类（pattern classification）进行区分，2）使用表征相似性分析（RSA）描述视觉表征的共同和特殊方面的特征。在空间方面，使用表征相似性分析，通过评估时间上的MEG和EEG表征与空间上的fMRI表征的匹配度（fusion）来比较MEG和EEG。

方法

• 被试

16名健康人类志愿者（7名女性，年龄mean ± s.d. = 24.1 ± 4.5）

• 视觉刺激和实验设计

刺激集包括92张彩色照片（Kiani等人，2007；Kriegeskorte等人，2008b；Cichy等人，2014，2016b），包括人类和非人类的面部和身体，以及分隔在灰色背景上的自然和人工物体（图1a）。

实验材料

被试观看在屏幕中心呈现的图像（视觉角度4度），时间为500毫秒，并叠加一个浅灰色的固定十字。共15次测试，每次持续290秒。在每次测试中，每个图像都以随机顺序呈现两次，试验间隔（ITI）被随机设置为1.0或1.1秒，概率相同。被试被要求保持固定，并在每3至5次试验中随机显示回形针图像时按下按钮并眨眼（平均4次）。回形针图像不是92个图像集的一部分，回形针试次被排除在进一步分析之外。

image.png

• MEG和EEG数据获取和预处理

同时采集MEG和 EEG 信号。MEG 306个通道，EEG 74个通道。
先用Maxfilter software，采用默认参数处理清除不良数据。之后用BrainStorm进行预处理，分段是-100 到 900ms，采用30Hz低通滤波

• 多变量分析

【以下分析为揭示两种数据对于不同实验材料和概念水平进行分类的精度】
使用了多种采样方式
1）全部74个EEG通道；2）全部306个MEG通道；3）74个MEG通道的随机子集和同样数量的EEG通道路；4）380（306+74）个所有MEG和EEG通道等

• 1.时间分辨的单个图形分类Time-resolved single image classification

首先确认了单个实验条件下，区分MEG和EEG激活模式的时间进程。分类采用了SVM线性支持向量机，使用libsvm软件，固定正则化参数，C=1.
【Feature selection】分类方法是时间分辨的，从MEG和EEG通道的测量结果中分别创建了每一毫秒的模式向量。特别是，对于每个时间点t（从-100到900毫秒，以1毫秒为单位），每个试验的特定条件下通道激活值作为模式向量（M =30【15个run，每个材料重复两次】），从而产生30个原始模式向量。
【Pattern assembly & partitioning】【Average】为了减少计算负荷，提升信噪比，按照随机顺序再次平均了每组（k=5）的M向量，得到了M/k=6 个的平均模式向量。
【Pairwise classification】对于所有成对的条件组合，在平均的模式向量上训练和测试SVM分类器。详细来讲，M/k-1个模式向量被分配到一个训练集来训练SVM。保留的模式向量被分配到测试集，用来评估训练后的SVM的性能（%解码准确率）。
训练和测试程序重复100次，随机分配原始模式向量到平均模式向量。对于减少通道数据集的情况，这也涉及到对每个迭代的通道进行重新取样，以获得解码准确的无偏估计。
【RDM】对于每个时间点，将跨迭代的平均分类结果存储在92* 92大小的矩阵中，按分类条件的行和列进行索引。这个解码矩阵是对称的，有一个未定义的对角线（因为条件内没有分类）。

RSA分析流程图

• 2.时间分辨的物品类型分类 Time-resolved object category discrimination

评估了何时MEG和EEG激活模式可以在 上级（有生命与无生命，自然与人工）、中级（身体与面孔） 和下级（人与动物的身体和面孔）这三个水平区分五种不同物体类型。为此，根据矩阵元素索引的条件对，将92* 92解码矩阵划分为相关分类的类别内和类别间。类别间减去类别内的解码准确度的平均值 作为类别的聚类衡量标准，表明关于类别成员的信息超过单一图像的可辨别性。

Fig.2A 物品类型分类

• MEG和EEG数据的相同和不同之处

【以下分析为揭示MEG和EEG测量的差异之处】
为了揭示MEG和EEG数据的多变量模式分析所发现的视觉表征的共同与独特之处，使用了表征相似性分析（RSA）。将 解码准确率作为异质性（dissimilarity）测量指标：解码准确率越高，分类条件的激活模式就越不相似。
使用由线性SVM确定的解码准确率作为距离测量的优点是：i）它可以自动选择包含鉴别性信息的通道，从而避免了基于人类的选择的需要，因为这种选择可能带来偏见；ii）它可能对噪音很强的通道不那么敏感，而不是对所有通道的贡献进行同样权重的测量，如相关性分析。
MEG和EEG解码矩阵被解析为表征差异矩阵（RDMs），这允许在两种模式之间进行直接比较。其基本思想是，如果EEG和MEG测量类似的信号，那么在EEG中唤起类似模式的两个物体也应该在MEG中唤起类似的模式。
RDMs的有效比较要求它们由独立的数据构建（Henriksson等人，2015）。否则，与实验条件无关的trial by trial信号波动，如认知状态（注意力、警惕性）或外部噪声（运动、电磁噪声）将膨胀、扭曲，并使EEG和MEG之间的相似性产生偏差。
为了独立构建MEG和EEG的RDMs，我们将数据分成两半，将偶数和奇数试验分配到不同的集合。然后我们用RSA比较了（Spearman's R）来自split half 1与split half 2的RDMs，在MEG和EEG测量模式内部和之间进行比较（Fig 3A）。重要的是，由于相同试验的脑电图和脑电图数据在每次分割中都被分组，脑电图和脑电图测量模式内部和之间的比较同样受到逐次试验波动的影响，因此具有很好的可比性（如果脑电图和脑电图分别记录于记录在单独的session，就不会出现这种情况【强调了两个数据需要同时获得而不能分别获取的必要性】）。
比较不同成像模式（MEG与EEG）的RDMs，只显示了视觉表征的共同方面。比较成像模式内的RDMs（MEG vs MEG，EEG vs EEG）获取的信度估计就包含了其共同和独特方面。
因此，模式内相似性减去跨模式相似性的差异揭示了用MEG或EEG测量的视觉表征的独特方面。在这个分析中，时间分辨的分类与上述单个图像分类类似，但为了减少试次，再次平均模式向量时平均k=3个的模式向量。

Fig 3A

• fMRI刺激呈现、获取和预处理与处理

与已有数据进行对比【Cichy, R.M., Pantazis, D., Oliva, A., 2014. Resolving human object recognition in space and time. Nat. Neurosci. 17, 455–462.】

• 1.fMRI实验范式

15名参与者在记录fMRI数据时观看了相同的92幅图像集。每个参与者在两个不同的日子里完成了两个测试，每个测试由10-14次trial组成，每次持续384秒。在每次运行中，每幅图像都被展示一次，图像顺序是随机的。在每次试验中，图像显示500毫秒。【保持被试注意的任务】所有试验中的25%是无效试验，在此期间只呈现灰色背景，固定的注视点变暗了100毫秒。被试被要求用按下按钮的方式来报告固定交叉亮度的变化。

• 2.fMRI兴趣区定义

两个兴趣区（ROI）：初级视觉区 V1（primary visual area）和下颞叶皮质IT（inferior temporal cortex）。

• 3.基于兴趣区的fMRI表征相似性分析

使用基于相关性的异质性测量为每个被试单独构建fMRI的RDMs。
【构建相似性矩阵】对于每个ROI，提取并串联每个图像条件的fMRI体素激活值。然后，计算每对图像条件的模式向量之间的所有成对相关系数（皮尔逊的R），并将结果存储在一个92 92的对称矩阵中，按比较条件的行和列索引。
【转换指标】通过1-R，将相关相似性测量转换为差异性测量。选择这种距离测量的原因是，
1）它是fMRI分析中的常见选择；
2）已被证明能够与MEG数据成功融合；
3）计算速度快；并允许直接比较基于相同fMRI数据的结果。

为了进一步的分析，对所产生的异质性的测量进行了平均，产生每个被试和ROI一个RDM。

• 使用fMRI-EEG/MEG融合来空间定位MEG和EEG的视觉表征

为了确定在MEG和EEG中观察到的时间动态的空间来源，并将它们相互比较，使用了基于RSA的MEG/EEG-fMRI融合方法（Cichy等人，2014，2017，2016b，a）。
采取这一分析的目的是绑定特定的(无时间)的fMRI空间点与(无空间)的MEG/EEG时间点的表征相似性，如果条件在fMRI和MEG信号空间中唤起类似的模式，那么时间和空间的点就被联系起来。
这种方法的成功关键是取决于，在物体视觉过程中表征几何学在空间和时间上的快速变化，从而空间分辨率的fMRI RDMs可以与时间分辨率的MEG RDMs独特地联系起来。
最后，为了比较基于不同MEG和EEG数据集的融合结果，我们基于一个通道采样的结果中减去基于另一个通道采样的结果，来获得特定被试的融合结果。

基于兴趣区的fMRI-EEG/MEG分析

对于每个ROI和被试，计算每个时间点特定的fMRI RDM和平均的MEG或EEG RDM之间的相似性，从而得到表征相似性时间进程。（Fig 4A）

Fig 4A

为了评估V1或IT中独特的MEG或EEG贡献，使用了偏相关分析（Fig 5A）。

Fig 5A

在计算基于特定ROI的fMRI RDM和被试平均的MEG RDM之间的相似性之前，剔除了EEG RDM的影响。以类似的方式计算独特的fMRI-EEG表征相似性，也剔除了MEG RDM的影响。这产生了每个被试和每个ROI之间fMRI和MEG或EEG唯一的表征相似性的时间过程。

空间无偏的Searchlight fMRI-EEG/MEG联合分析

对每个fMRI被试，在时间点从-100到+500毫秒以5毫秒为单位，分别进行了Searchlight分析。对于每个体素v，在以体素v为中心、半径为4个体素的球体中提取特定条件的t-value 模式（searchlight at v），并将它们排列成模式向量。
用1减去每对条件的Pearson's R 来计算模式向量之间的成对不相似性，从而得出fMRI RDM。然后计算探照灯特定的fMRI RDM和被试平均的MEG或EEG RDMs之间的相似性（Spearman's R）。
对大脑中的每个体素重复这一分析，得到了fMRI和MEG或EEG在每个时间点的表征相似性的三维图。对所有的时间点重复同样的方法，我们得到了一系列的三维地图，揭示了在物体感知过程中人脑的时空激活，这些激活分别由MEG和EEG记录。

Fig 5A

统计检验

置换检验和bootstrap

结果

• 1从MEG和EEG数据中进行单幅图像分类的时间过程的共同点和区别

对于每个时间点，对解码矩阵的所有元素进行了平均，产生了所有实验条件下特定条件下解码准确性的大平均时间过程（Fig. 1C）。观察到MEG/EEG 的所有四个主要通道采样的显著效果。这表明，原则上MEG和EEG信号都可以进行同样的多元分析，并再现了Cichy等人（2014）基于脑电图的结果。

Fig 1C

也可以观察到EEG 和MEG的时间进程的几个不同。
首先，对于多数的刺激后post-stimulus时期MEG的分类准确性优于EEG。为了量化这一影响，从MEG的时间进程中减去了EEG的解析正确率(Fig. 1D)。需要注意，MEG分析中较多的通道并不能很好解释这一差异，因为减少MEG通道（74个）产生了相同的结果。
第二，在于峰值的潜伏期：MEG的时间进程中，潜伏期显著早于EEG（p<0.001)详见table2

1D

综合来看，平均解码和峰值延迟的差异表明，MEG和EEG可能反映了产生视觉表征的部分不同方面。这个假设的一个预测是，在进行多元模式分类之前，结合MEG和EEG应该比单独的MEG产生更高的解码准确性。我们发现情况确实如此：结合MEG和EEG数据的平均解码准确性时间过程明显高于单独的MEG结果。

• 2 MEG和EEG处理视觉类别成员的时间过程是相似的

鉴于MEG和EEG在解码单一图像方面的定性和定量差异，调查了MEG和EEG在揭示不同分类抽象水平的物体类别处理信息方面是否也有差异。
按照Cichy等人（2014）的方法，我们将解码准确率矩阵划分为两个分区：图像属于统一类别浅灰，不同类别深灰。
平均子类之内和之间的解码正确率（decoding accuracies）的比较作为检验类别的聚类标准。其原理是，为了揭示多于单个图像信息的类别信息，必须从表明单个图像和类别之间（不同的子类）的差异的信息中减去表明单个图像之间的差异的信息（相同的子类）。这就产生了对一个表征的明确测量，即类别信息可以以线性方式读出（DiCarlo和Cox，2007）。
发现在MEG和EEG的sensor的所有四个采样中，所有五个细分类别的信息都有明显的信号（Fig 2A-E，中间部分，除了EEG中的自然性）。
从差异的角度来看，仅发现微小的统计差异。且潜伏期无显著差异。
最后，基于MEG&EEG与MEG采样的结果比较显示，除自然性外，所有情况下都有差异（Fig 2A-E）。

Fig2 A-E

• 3 通过表征相似性分析对MEG和EEG数据进行比较，发现了神经表征的共同和独特方面

平均单幅图像解码准确性和特定类别的信号是汇总统计，只能部分反映脑电图和EEG数据中丰富的多变量信息。如果考虑到解码矩阵所捕获的整个表征空间结构，那么脑电图和EEG是如何比较的呢？为了进行研究，在完整的解码矩阵上使用了表征相似性分析（RSA）

Fig 5B，发现了一个正性显著的表征相似性时间过程，表明视觉表征的某些方面被两种模式都捕捉到了。同时也存在一个显著高于跨模式表征的相似性，表明MEG和EEG也分别解决了视觉表征的部分独特方面。

Fig 5

MEG和EEG独特信号的时间进程是不同的：MEG的峰值延迟明显早于EEG的峰值延迟。

• 4 与fMRI的融合揭示了用MEG和EEG解决的视觉表征的独特和共同成分的位置

发现了两个脑区在所有通道采样方式的情况下显著的fMRI和MEG/EEG的表征相似性（Fig4 BD）
在比较 MEG和EEG的差异和共同之处时，
首先，比较峰值潜伏期，没有发现显著差异
其次，比较减去EEG或MEG的结果（Fig4 CE）观察哪种模式和fMRI相似性更高。发现MEG为基础的融合相似性一致的强于EEG为基础的融合。
第三，进一步进行偏相关分析。发现MEG 在V1脑区的独特成分比EEG更敏感（Fig 5）

FIg.4

Fig.5

• 5 MEG和EEG同样解决了基于Searchlight与fMRI融合所揭示的腹侧通路的时空动态问题

基于MEG和EEG的与fMRI数据的融合都揭示了腹侧视觉流中表征相似性的逐级前馈（feedward cascade 前馈级联）早期的表征关系在枕极（occipital pole）类似，以可比较的动态变化沿腹侧视觉通路迅速扩散。（Fig.6B）

6B

总体而言结果表明，MEG和EEG都很适合与fMRI数据进行基于RSA的融合，以揭示皮质信息流，但没有揭示MEG/EEG对视觉表征独特方面的进一步敏感性来源。

讨论

总的来说，几乎所有在一种测量模式中产生重要结果的分析在另一种模式中也产生了重要结果（EEG的自然性分类是唯一例外）。
通过基于分类的时间进程对脑电图和EEG进行比较，以及直接通过表征相似性分析，产生了对神经表征的共同和独特方面的敏感性证据。
MEG和EEG与fMRI的融合使独特的方面得到了空间定位：两种模式都捕捉到了高水平视觉皮层中表征的独特方面，而MEG也捕捉到了低水平视觉皮层中的表征。可能是由于低级视觉区位于浅层来源，而高级视觉区是深层来源。因为低级视觉区神经元活动更早出现，所以MEG更早的峰值，也可以被解释为MEG对浅层神经源更敏感。

并且在通道数保留很少（32）时，大部分效应仍然可以被观察到，说明了RSA可以应用于只有少量通道时的情景。

iSupplementary Fig2

EEG效应弱于MEG，说明MEG在需要时间分辨率时是更优选