01 - 具有非侵入性脑机接口的高速拼写

01- 具有非侵入性脑机接口的高速拼写

初入脑机接口方向，经过长时间的学习，
为了更好的理解相关的学习内容，也为了帮助一些对脑机接口方向感兴趣的同学，
在这里我将通过专刊的方式向大家介绍稳态视觉诱发方向的研究，希望大家能够共同学习。

---

---

一、前言

High-speed spelling with a noninvasivebrain–computer interface：

随着对该方向的了解，我认为这篇文章是一篇非常好的文章帮助大家整体的理解什么是稳态视觉诱发方法，该文章主要是清华大学的脑机接口团队在美国国家科学院院刊发表的，整体介绍了基于非侵入脑机接口的高速拼写器。

---

二、什么是脑机接口技术

脑机接口（BCI），它可以提供一种新的与人类的沟通渠道，近几年已收到越来越多的关注。在各种应用中，因为可以帮助有严重的运动障碍（例如，肌萎缩侧硬化症、中风和脊髓损伤）患者与其他人交流，BCI拼写者特别有价值。

以前的研究表明，经过均值处理的SSVEP可以准确编码刺激信号的频率和相位，表明了不同刺激频率都有一个恒定潜伏期。然而，单次试验 SSVEP 的视觉延迟，尤其是当刺激持续时间短（例如 0.5 秒），由于自发脑电图的干扰而进行量化比较困难。在这里，我们假设单次试验的视觉潜伏期SSVEP，代表神经元群体的活动在刺激时间试验中非常稳定。 如果这是真的，刺激信号的频率和相位可以精确编码单次试验 SSVEP 。

本研究的目标是使用 SSVEP 实现高速 BCI 拼写器，基于单次试验 SSVEP 中视觉延迟稳定的假设，本研究提出了一种新的联合频率相位调制 (JFPM) 方法，以增强频率范围非常窄的 SSVEP 之间的可分辨性，这是频率编码中最具挑战性的条件，开发了一种数据驱动的网格搜索方法来优化 JFPM 方法中的刺激持续时间和相位间隔。

三、SSVEP-Based BCI

从该图中，我们可以看到图A为SSVEP实验范式，在这里设计了一个包含40个刺激信号的实验范式，图B中显示了每一个刺激源的幅值和相位，可以看出我们使用了联合频率相位调制方法。在图C中可以看出在一个15HZ或者8.2Hz的刺激性，脑电信号在经过一个时间延迟t后可以相应相应刺激源，通过这种方法我们可以使用相关性分析判断此时接受了那个刺激。
图2（A）显示了在刺激信号在离散采样的方法下显示出的刺激信号，（B)显示了SSVEP的信号和实际的正选信号的相似度，（C）显示了刺激信号的幅频图 （D)显示了SSVEP的幅频图。
图3中显示了基波和谐波 SSVEP 分量的幅度谱和 SNR。 (A) (B) 分别显示了SSVEP 在13.8 Hz 和 所有刺激频率 (8–15.8 Hz) 处的平均振幅谱 。对于每个刺激频率，首先平均六次试验以提高 SSVEP 的 信噪比。通过快速傅里叶变换计算幅度谱，频谱幅度是所有九个通道的平均值。 © (D) 分别显示了SSVEP 在 所有刺激频率 (8–15.8 Hz) 处的平均 SNR。
(A）12.2、12.4和12.6HZ的1s正弦波刺激信号的时间波形，对应四个不同的相位间隔值（0、0.5π、π和1.5π）。
(B）12.4Hz的刺激信号与所有刺激频率（8-15.8Hz，间隔为0.2Hz，用圆圈标记）的刺激信号的相关系数。虚线表示12.4赫兹的刺激频率。
© 在12.4Hz下产生的1s长的SSVEPs和所有刺激频率下的SSVEP模板信号在不同试验和受试者之间的平均相关系数。相关系数是用基于CCA的空间滤波对9个通道的SSVEPs进行投影计算的。误差条表示各受试者的SD。
(D）12.4Hz的刺激信号与12至12.8Hz的频率（即12.4Hz和四个相邻的频率）之间的相关系数。相位间隔值从0到2π。标记表示0、0.5π、π和1.5π的相位间隔值。请注意，两边与12.4Hz相同频率距离对应的两条曲线（12.2和12.6Hz，12和12.8Hz）是相互重合的。
(E）在12.4赫兹的单次试验SSVEP和12至12.8赫兹的SSVEP模板信号之间的相关系数，一个样本主体有四个相位间隔值（0，0.5π，π，和1.5π）。该数据集包括六个试验。SSVEP模板信号是用留一法计算的。
优化相位间隔和刺激时间的网格参数搜索。(A）组平均分类准确率（百分比）和（B）ITR（bps）作为刺激持续时间和相位间隔的函数。刺激持续时间从0.05到1秒，步长为0.05秒；相位间隔值从0到1.95π，步长为0.05π。A中的轮廓线表示准确度为10%至90%，步长为10%。B中的等值线表示ITR从0.5到4.0 bps，步长为0.5 bps。绿色圆圈表示具有最大ITR的位置（ITR：4.32 bps；精确度：88.92%；刺激持续时间：0.5 s；相位间隔：0.5 s）。0.5秒；相位间隔：0.35π）。在A和B中分别绘制了与0.5s刺激时间和0.35π相位间隔对应的准确性和ITR（由箭头表示）。

---

四、讨论

从理论上讲，使用频相编码对SSVEPs进行分类的性能取决于单次试验中视觉潜伏期的精度。本研究假设，单次试验SSVEPs的视觉潜伏期在不同试验中非常稳定。然而，由于受到自发脑电活动的干扰，持续时间如此短（即0.5秒）的单次试验SSVEPs的视觉潜伏期很难测量。为了解决这个问题，本研究开发了一种基于分类的方法，通过测量分类性能来估计单次试验SSVEPs的视觉潜伏期的差异。SSVEPs（来自在线提示拼写任务的0.5s数据历时）和其时滞信号之间的分类结果表明，所有受试者的视觉延迟的平均SD为1.7ms，每个人的数值都在1-2毫秒之内。通过进一步考虑数据记录中估计的时间误差（SD为∼0.6 ms）（即使用事件触发器使刺激和EEG同步）以及分类性能通常低于理论最大值的事实，单审SSVEPs中视觉延迟的实际SD可能更小。这些结果表明，在快速BCI操作期间，SSVEPs的视觉延迟在不同试验中非常稳定。因此，对于同一刺激物，在多次试验中激发的SSVEP成分可被视为表现出相同的频率和相位。

---

五、总结

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
本研究显示了一个高速BCI拼写器，其拼写速度可达60cpm。请注意，本研究中的许多受试者在使用基于SSVEP的BCI拼写器方面经验丰富，并熟悉目标的布局。每秒1个字符的拼写速度似乎接近于人类凝视控制的速度极限。0.5秒的试验间期包括视觉潜伏期（140毫秒）、在线计算时间（80毫秒）和目光切换所需的时间。然而，如果分类性能能够得到改善，刺激时间可以进一步缩短。有几个方向可以改善分类性能。**首先，刺激持续时间的优化可以针对每个人单独进行。**例如，单个受试者的最高模拟ITR达到6.51 bps，刺激时间为0.3s（受试者S10，相位间隔：0.7π）。第二，在滤波器组分析中增加子带的数量（如五个子带）可以提高分类的准确性。第三，SSVEP模板的稳健性可以通过增加训练数据中的试验数量来提高。第四，可以减少单次SSVEPs的视觉延迟的变化（例如，通过减少同步的时间误差）。最后，编码和解码方法仍有改进的余地。所提出的JFPM方法，使用固定的频率和相位间隔，证明是在目标编码中结合频率和相位调制的一种简单而有效的方法。然而，该组合策略可能会进一步改进（例如，使用不固定的频率和相位间隔）。通过解决这些问题，本BCI拼写器的拼写速度可快至每个字符0.8秒（例如，刺激持续时间：0.3秒和注视转移时间：0.5秒），这相当于理论上的ITR高达6.65 bps。

Reference:
[1] Chen, Xiaogang , et al. “High-speed spelling with a noninvasive brain-computer interface.” Proceedings of the National Academy of Sciences of the United States of America (2015):E6058.