脑电数据的时频分析

引入

为了厘清思路，全文将按照如下三部曲进行简单开展。

首先，时频分析是什么？
其次，为什么要有时频分析？
最后，如何进行时频分析？

时频分析是什么？

如果你了解过一点脑电的话，那一定听说过ERP这个词，也就是事件相关电位。也可能听说过诸如 P300、N170、P1这样的成分。比如说，P300 顾名思义是在事件相关刺激300-400ms出现的正电位，主要位于中央皮层区域，其峰值大约出现在事件发生后300ms。

P300

所以，上面的这些描述基本上都是在时间范畴内进行的分析。但是对于信号来说，仅仅是从时间上进行分析并不足以完整地描述其特征，可能会丢失信息。正如在频域分析中所提到的一样，使用频域分析可能获取不同频段上的强度（关于频域分析，请戳：脑电数据的频域分析）。

所谓的时频分析，简单从字面上来理解就是在时间和频率的范围内进行的分析，所以它既包含时间信息又包含频域信息。在文献中看到的time-frequency analysis 就是时频分析，大概是下图一样：
首先横坐标是时间轴；纵坐标是频率轴；图中的颜色代表power的强弱。
这样的设置就可以在一张图上同时涵盖时间、频率和power三个方面的信息了。

时频分析图-by Mental Strategies to Operate a Motor-imagery-based Brain-computer Interface

为什么要有时频分析？

上面也提到，对于信号来说，仅仅是从时间上进行分析并不足以完整地描述其特征，可能会丢失信息。 同理，如果仅仅从频率上进行分析也不丢失时间上的信息。单一维度的时间或者频率都不能有效概括整个信号特征，所以，就出现了时频分析。

这也是时频分析出现的一个最主要的原因。接下来就有另外一个重要问题出现了：什么样的数据不能简单从时间或者频率上进行单维度分析呢？

这就是非稳态数据。
非稳态的意思是说频率随着时间会有很明显的改变。比如说，下图中信号一开始是快波，后来又变成了慢波，接着频率又开始增快。由此，它的频率也是不稳定的，是随着时间的变化而变化的，这样的数据就是一种非稳态的数据。

非稳态

这种非稳态数据如果只是进行时间上的分析，就会丢失频率改变的信息；如果只是进行频率分析，又会丢失随着时间会发生改变的信息。因此，想要全面描述，即，获得信号随着时间的改变，其频域上也有所改变这样的特征，就需要既有时间，又有频域，也就是需要进行时频分析了。

在脑电数据中，非稳态数据的典型代表就是ERD和ERS了。
ERD指的是事件相关去同步化 event-related dcsynchronizafion；
ERS指的是时间相关同步化 event-related synchronizafion。
在具体介绍这两个概念时，其实也就说明了，为什么说非稳态数据的典型代表就是ERD和ERS。
ERD/ERS：在事件相关实验中，感觉刺激或认知任务可在一定频段内增加或减少脑电图节律性活动，这些事件相关频谱变化称为事件相关同步/(去)同步。
如下图所示，ERD实际上就是在刺激出现前振荡强；在刺激出现后振荡弱，或随后又恢复。

ERD-by Time-frequency analysis of band-limited EEG with BMFLC and Kalman filter for BCI applications

而ERS恰好相反，实际上就是在刺激出现前振荡弱；在刺激出现后振荡强，或随后又恢复。

ERD & ERS-by Electroencephalography as a post-stroke assessment method: An updated review

这两种数据其实最大的特征就是锁时非锁相。
锁时锁相这个词最常出现在ERP中，这也是分析ERP的一个非常重要的基础。锁时锁相简单说就是在特定时刻出现特定的同样形状的波形，它们的相位是相同的。因此，这样的特点也被用来在叠加平均中消除无关噪音。
假设所有的无用噪音是完全随机的，有用的成分是锁时锁相的，因此，把所有的被试的波形都进行叠加，随机噪音相互抵消，最终只会留下有用的部分。
但是，对于锁时非锁相数据来说，虽然锁时，在特定时间内会出现；但是非锁相，相位不同，这样在进行叠加时，有用的部分就会被抵消。
所以，这样的数据是不可以进行时域上的分析的，叠加时会消除这部分的特征。这时就需要进行时频分析。

如何进行时频分析？

时频分析就是时间+频域上的分析。简单来说，可以通过一个维度上的结果加上另一个维度上的结果表示。
因为频域上的结果需要进行傅里叶变换才能将信号从时间范围变化为频域范围，所以要想再加上时间信息，就可以选择给数据加窗。
在一段数据上加上窗口，对每个窗口上的这一段数据进行傅里叶变换，这样就可以求得这部分时间上的频域信息了，也保留了这段数据的时间信息（即窗口）。
当窗口在时间轴上移动时，就可以按照不同的时间把这段数据分割成不同的窗口，对每个窗口都进行傅里叶变换，这样就会有很多个时间窗口上的频域信息了，再将这些求得的若干窗口上的频域信息按照时间顺序拼接起来就可以得到时间和频域上的信息了，这就是时频图了。

窗口有很多种加法，有很多种算法。添加窗口时一定要得当，也就是说，窗口不能太大或者太小。过大会减少时间上的精度，过小则会影响数据点的个数，进而影响傅里叶变换后频域上的精度。
这也就是说，窗口实际上是很大程度上受制于波形的影响。如果是慢波，窗口就要大一点；如果是快波，窗口就要小一点。

也因为窗口长度不好确定这一点，还有另外一种计算方式是小波变换。
小波变换是一种自适应的方式，根据周期调节窗口的大小。如果周期大（慢波，频率低），窗口就大一点，如果周期小（快波，频率高），窗口就小一点。
也就是说，在一段数据上不在固定时间窗口，而是通过小波变换的方式选择，进而将时间和频域上的信息综合起来。
小波变换也不是全能的，这种算法对低频段的数据表现并不是很好。