脑机接口系列课程（二） SSVEP介绍及相关软件的安装、实验范式的搭建

脑机接口系列课程（二） SSVEP介绍及相关软件的安装、实验范式的搭建

导言：这是脑机接口系列课程的第二篇，也是SSVEP部分的第一节，介绍SSVEP相关知识和实验范式的搭建等，属于基础入门篇，文章靠后有具体的操作说明，供参考。我们已经基于bciduino放大器（https://m.tb.cn/h.eVivSJt?sm=cbd9e0 ）搭建了相关的实验系统，后面几篇逐渐整理发布出来。如有任何问题可以个人微信添加cheitech了解或询问。

第一节 SSVEP的介绍、刺激、采集和读取

1.1 脑机接口技术
脑－机接口( brain-computer interface，BCI)，是指不需要通过常规的大脑输出通道，在人或者其他动物与外在环境之间建立一种沟通的环境［1］，达到意识控制设备的目的。德国神经生理学家Berger首先发现脑电信号的存在，并为脑－机接口技术的发展奠定基础。之后，研究人员一直致力于研发如何利用脑电信号来控制外部设备［2］，例如智能机器人、机械臂、智能轮椅、四旋翼无人机等。这种由脑 机接口解析出脑信号中携带的信息，并由各种外部 控制设备实时反馈的系统，是当今脑机接口研究的热点。美国Emory大学的Kennedy和Bakay最先在他们患有脑干中风导致的锁闭综合征的患者Ｒay身上植入了可获取高质量脑电信号的接口，使他存活了足够长的时间，并且学会了用脑信号控制电脑光标。[3]
脑−机接口与传统接口相比，人是通过大脑直接进行操作，脑电信号可以提供除肢体以外的另一种独立控制信号直接控制执行器，为人类控制外设提供更多途径。基于以上优点，脑−机接口技术被广泛的应用到智能轮椅[4-5]、机械手[6]、仿人机器人[7]等设备控制中,并已经开始渗透到工业、国防业领域中,如水下机器人作业[8]，航天员远程操作[9]，人−武器装备一体化[10]。在脑电控技术领域,基于视觉诱发电位[11-12]的脑电控制技术较为成熟，具有较高的准确率，并且不需要操作人员过长的训练时间.系统通过对获取脑电信号的预处理、特征提取和分类来识别操作人员的控制意图。
脑机接口系统是涉及神经科学、信号处理、人工智能、机械控制等多个学科的交叉学科，具有重大科研价值和应用前景。如今脑机接口中信号获取的技术主要有以下几种: 头皮脑电(EEG)、皮层脑电(ECoG)、植入式电极(Spike and LFP)、脑磁图(MEG)、功能磁共振成像(fMＲI)、功能近红外成像(fNIＲ)等。用于BCI系统的脑电信号主要包括:P300电位、感觉运动节律的事件相关同步/去同步电位(运动想象信号，event-related synchronization/eventrelated desynchronization，EＲS/EＲD)、稳态视觉诱发电位( steady-state visual evoked potential，SSVEP)等。运动想象如图1所示，图1是左手运动想象信号的FC5通道的电位图，持续时间共8秒，频率为1000HZ。P300中识别字母Q的脑电62导波形图，持续时间为1s，频率为200HZ。

图1 左手运动想象FC5通道电位图

图2 P300中识别字母Q的脑电62导波形图
1.2 SSVEP信号介绍
稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)是BCI系统经常使用的一种信号,它当人眼受到固定频率超过4Hz的视觉刺激时，大脑皮质活动将被调节，导致类似于刺激的周期性节律，这就是稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP），而SSVEP主要出现在大脑皮层枕区[13]。人们设计出基于SSVEP的脑-机接口系统，通过识别大脑中的脑电信号的频率成分来检测目标指令[14]。目前，基于SSVEP的脑-机接口系统得到广泛关注和研究，其中有关SSVEP的识别准确率问题的研究居多。Regan[15]等证明在不同频段，SSVEP有不同的谐振峰，这些频段分别为：低频段（5~12 Hz）、中频段（12~25 Hz）和高频段（30~50 Hz）。随着频率的升高，谐振强度减弱。BCIs通常具有更高的信息传输率,更兼有系统简便,仅需要较少训练的优点。已经有很多研究者们设 计出了具有高传输速率的SSVEP-BCIs。然而,由于屏幕显示器固有刷新率的问题,当使用屏幕显示器呈现闪烁刺激块时,可选的频率有限,使得增加更多的目标数存在一定困难。在SSVEP-BCIs系统中考虑视野的目标刺激方法,有助于提高原有系统的性能。例如:加入视觉左右注意可以改善SSVEP-BCIs对大脑正常输出通路的依赖性,从而扩大了系统的使用范围; 左右视野区对应刺激目标呈反相位刺激则有助于简化导联优选的步骤 ,提高系统的目标检测性能。
SSVEP是通过固定频率的闪烁刺激诱发的，而诱发产生SSVEP信号的视觉刺激源通常包括光刺激源、图形刺激源以及模式翻转刺激源[16-18]。其中，光刺激源主要是用受到一定频率调制的LED、荧光灯等光源作为视觉刺激。以LED作为光源诱发视觉刺激为例，利用LED可以实现不同颜色光的闪烁刺激来诱发SSVEP，而不同颜色光的LED闪烁会影响SSVEP的响应。Regan等首先研究不同颜色（红色、黄色、蓝色）闪烁刺激对SSVEP在不同频段的响应的影响。研究表明：在11Hz处红光可以诱发最强的SSVEP响应；在13Hz处蓝光可以诱发最强的SSVEP响应；黄光诱发出的响应最弱，且对频率不敏感[19]。也有研究者对不同颜色单色光刺激产生的稳态视觉诱发电位进行比较。结果表明红、绿、蓝3种颜色中，蓝光的效果最好。
1.3 SSVEP刺激源软件
（1）Psychtoolbox
Psychtoolbox的功能是在Matlab与计算机硬件中间提供一个接口，让Matlab可以直接操纵计算机硬件。这样，我们就可以自由地要求计算机输出图像、文字或声音，精确计时并获取被试的反应。有了Psychtoolbox工具箱以后，用户可以在Matlab上完成几乎所有的实验工作。

图3基于Psychtoolbox的灰度值为0的SSVEP刺激
（2）E-prime
E- Prime是 Experimenter’s Prime (best) 的简称,是实现计算机化行为研究的一个跨平台系统,它与所有的可视化编程语言系统相似,使用类似于 Visual Basic的 E- Basic语言,是一个涵盖从实验生成到毫秒精度数据收集与初步分析的图形界面应用软件套装。该系统包括如下特征:图形化界面编程环境,对实验功能的实现可以通过所见即所得的选择、拖放和设定产生,使编程简单化;面向对象的简单易懂的 Script 语言,类似于Visual Basic,提供了许多针对行为研究的增强命令,为编程提供了灵活性,可以帮助实现更加灵活全面的实验范式,并提供了E- Prime的扩展空间;扩展的数据分析和导出系统;数据检验核对功能;实验生成向导;PsychMate系统提供了实验教学需要的经典实验。
E-Prime心理学实验操作平台，是一个高等的图形设计环境，涵盖从实验生成到毫秒精度的数据收集与初步分析等功能，提供革命性的新工具，以加速实验发展，E-Prime可以让您在设计实验时，只须选取常用的实验功能图标，然后把图标拖曳到实验程序内，可以在短短的时间，建立复杂的实验程序。E-prime可以进行实验设计、生成、运行、收集数据、编辑和预处理分析数据。
E-Prime能呈现的刺激可以是文本、图像和声音（可以同时呈现三者的任意组合）提供了详细的时间信息和事件细节（包括呈现时间、反应时间的细节），可供进一步分析，有助于了解实际实验运行的时间问题。专门面向心理实验，并针对心理实验的时间精度作了优化。刺激呈现与屏幕刷新同步，精度可达毫秒。相对于传统编程语言，E-Prime易学易用，实验生成快速。
（3）DMDX
DMDX是一个针对窗口环境设计的心理学实验设计与控制软件系统。对一个一般的心理学研究人员而言，DMDX几乎能够将一台个人计算机转化成一部全功能的心理实验仪器。实验时，DMDX不但能在个人计算机上呈现视觉或听觉的实验刺激，并且能够收集受试者对实验刺激的反应(包括语音及按键反应；并记录反应的种类及时间)。DMDX可以编制刺激呈现程序、运行并记录反应、数据筛选、数据分析准备。DMDX简单易学，稳定性好，适用于不会编程的非专业程序人员，DMDX目前可以呈现文字、图片、声音、视频片断等实验材料，时间精度高，对被试反应得记录达到了毫秒级。DMDX适用于Windows 95/98 2000、XP等系统，可能对新版本的系统的兼容性会存在问题。
（4）labview
LabVIEW（Laboratory Virtual instrument Engineering Workbench）是一种图形化的编程语言的开发环境，它广泛地被工业界、学术界和研究实验室所接受，视为一个标准的数据采集和仪器控制软件。LabVIEW集成了与满足 GPIB、VXI、RS-232和 RS-485 协议的硬件及数据采集卡通讯的全部功能。它还内置了便于应用TCP/IP、ActiveX等软件标准的库函数。这是一个功能强大且灵活的软件。利用它可以方便地建立自己的虚拟仪器，其图形化的界面使得编程及使用过程都生动有趣。
图形化的程序语言，又称为 “G” 语言。使用这种语言编程时，基本上不写程序代码，取而代之的是流程图或框图。它尽可能利用了技术人员、科学家、工程师所熟悉的术语、图标和概念，因此，LabVIEW 是一个面向最终用户的工具。它可以增强你构建自己的科学和工程系统的能力，提供了实现仪器编程和数据采集系统的便捷途径。使用它进行原理研究、设计、测试并实现仪器系统时，可以大大提高工作效率。利用 LabVIEW [3] ，可产生独立运行的可执行文件，它是一个真正的32位/64位编译器。像许多重要的软件一样，LabVIEW 提供了Windows、UNIX、Linux、Macintosh的多种版本。
吴正平[20]采用LabVIEW开发平台开发了视觉刺激器，在刺激源少的情况下，相对于LED对硬件电路的要求高和CＲT的体积过大［21］，LCD显示器只需要通过 软件操作即可，操作简单，更利于用户的使用。基于 LCD 显示器60Hz的刷新特性，通过调整时间参数，可以实现图片以指定频率闪烁。刺激界面选用4个相同的黑色圆组成，整个操作界面简洁、方便、可控。
1.4 SSVEP采集
脑-机接口研究工作是基于对脑电信号的分析，因此，对脑电信号的采集是研究脑-机接口的首要环节。脑电信号一般使用国际电极10-20安放标准的电极帽或采集仪进行采集，主要采集与运动想象脑电相关通道的数据信号。脑电采集信号的电极目前有8导、16导、32导、64导、128导、256导，常用的有8导、16导、64导，下面对16导和64导做一个简单的介绍
16导的脑电信号采集仪常用的有美国Emotiv System公司开发的Emotiv EPOC+ 脑电采集仪，该采集仪的电极安放就是根据国际电极10-20的安放标准进行设计的，一共安放了14个电极以及两个参考电极，各个电极分别是AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8、AF4以及参考电极CMS和DRL，如图2.3所示。

图4 Emotiv EPOC+ 脑电信号通道分布图
64导的脑电信号采集仪常用的有脑电信号采集仪是德国的COMUMEDICS公司开发的COMUMEDICS NeuroScan Neuvo 64-channel Amplifier脑电采集仪，Neuvo还可以与Stim2系统一起用于集成和精确的刺激显示，或接受来自第三方系统的TTL脉冲。Neuvo非常适合满足任何神经科学实验室的需求。基于synamps-rt的技术，neuvo是一款EEG、ERP和EP放大器，具有很高的规格和竞争力的价格。Neuvo系统具有CE IIB级医疗认证和FDA批准。该采集仪的电极安放就是根据国际电极10-20的安放标准进行设计的，一共安放了62个电极以及两个参考电极，该仪器的采集有导电膏和盐水帽两种采集模式，其中导电膏的研究更倾向于心理研究，盐水帽适合运动想象，可以供给采集大批量数据。
设备的参数如表1所示
表1 COMUMEDICS NeuroScan Neuvo 64-channel Amplifier参数表

COMUMEDICS NeuroScan Neuvo 64-channel Amplifier允许您根据受试者的不同选择，根据时间或受试者的限制，将头皮电极阻抗准备到科学接受的水平，或以高阻抗进行记录。这种灵活性允许您选择最大限度地收集每个主题的数据，并收集情况允许的最佳数据。可移植性和集成性：小包装、大功能，数字放大器通常很小，因此是便携式的，但便携性也意味着不可预测的环境噪音。COMUMEDICS NeuroScan Neuvo 64-channel Amplifier拥有内置技术，即使在最恶劣的电磁场中也能发挥作用。
对于生成的文件可以用EEGLAB读取，EEGLAB是一个Matlab的工具箱（Toolbox),主要用来处理EEG（脑电图）和MEG（脑磁图）以及其他的连续且事件相关的电生理信号，如ECG(心电图）。EEGLAB能够对电生理信号进行一系列的分析，包括独立成分分析（ICA)、时频分析（TFA）、消除伪影、事件相关的统计分析以及几种对数据可视化的模型。EEGLAB 支持几乎所有主流操作系统，包括Linux、Unix、Windows、以及Mac OS X。EEGLAB本身是一个开源的免费软件，但是EEGLAB必须基于Matlab平台（7.0及以上版本）。没有Matlab，EEGLAB也可以运行在Octave环境中（和Matlab类似，但是Octave是开源免费的）。EEGLAB提供的是一个基于Matlab的交互式用户界面（GUI），极大的方便了在代码方面不太擅长的科研者，这样他们可以集中精力去做与代码无关只对电生理信号的科学分析和统计。如图6所示，是eeglab的主要界面。

图6 eeglab的主界面
EEGLAB的基本功能是读入数据、可视化数据、基本操作、测量、储存、导出数据。EEGLAB还提供一个开源的平台，用户可以在该平台上开发出特定功能插件（plug-in），通过社区与其他全球的科研者共同分享，极大的延拓了EEGLAB的基本功能。如图7所示，是eeglab读取的一个脑电波形图，通道为64导。

图7 eeglab的脑电波形图
1.5 SSVEP的采集准则
选择实验环境时，必须注意避开电动设备、高频辐射等干扰的地方，保证实验数据免受电磁场的干扰；为避免阳光、声音、环境影响受试者情绪，实验环境应尽量保证光线适中、简单安静、通风顺畅、温度适中。
对于实验中的受试者而言，必须按医学规定，实验前24小时内禁止食用特殊食品，比如可导致神经系统过度紧张兴奋或者抑制的药品和食品；另外，受试者受试前保证睡眠充足，禁止熬夜，要求清洗头发并保持头发干燥，防止头上油污导致电极与头皮接触的电阻过大影响实验效果，调整自己的状态，保证精力充沛、注意力集中；在受试过程中，若出现走神、过度疲劳，应及时与操作者沟通，并放弃该次采集到的数据，调整状态，重新采集；尽量做到肌肉放松，避免大范围的肌肉运动，尽量保持头部器官处于不运动状态，避免头部器官运动对脑电信号采集产生的干扰。
对于实验操作者而言，应清楚操作过程中的每一处细节，保证数据采集的公正可靠；操作过程中，注意力要高度集中，时刻注意受试者在受试过程中会否受到的干扰，并要求能尽量排除干扰。
 
参考文献
[1] Tsuru K , Miura H , Matsui D . A New Stimulation for Steady-State Visually Evoked Potentials Based Brain-Computer Interface Using Semi-transmissive Patterns with Smartglasses[C]// 2015 International Conference on Cyberworlds (CW). IEEE Computer Society, 2015.
[2] Hsu H T , Lee I , Tsai H T , et al. Evaluate the Feasibility of Using Frontal SSVEP to Implement an SSVEP-Based BCI in Young, Elderly and ALS Groups[J]. IEEE Trans Neural Syst Rehabil Eng, 2016, 24(5):603-615.
[3] Yin E , Zhou Z , Jiang J , et al. A dynamically optimized SSVEP brain-computer interface (BCI) speller[J]. IEEE transactions on bio-medical engineering, 2014, 62(6).
[4] Long J , Li Y , Wang H , et al. A Hybrid Brain Computer Interface to Control the Direction and Speed of a Simulated or Real Wheelchair[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2012, 20(5):720-729.
[5] 项伟,吴迎年.基于改进共空间模式与深度信念网络的脑电信号识别算法研究[J].中国科学:信息科学,2018,48(07):919-931.
[6] Palankar M , Laurentis K J D , Alqasemi R , et al. Control of a 9-DoF Wheelchair-Mounted Robotic Ann System Using a P300 Brain Computer Interface: Initial Experiments[C]// Robotics and Biomimetics, 2008. ROBIO 2008. IEEE International Conference on. IEEE, 2009.
[7] Wei Li,Jaramillo, C.,Yunyi Li. Development of Mind Control System for Humanoid Robot through a Brain Computer Interface[P]. Intelligent System Design and Engineering Application (ISDEA), 2012 Second International Conference on,2012.
[8] 俞建成, 张进, 李伟. 基于事件相关电位的水下机械手脑电波控制[J]. 机器人, 2017(04):13-22.
[9] 杨鑫, 吴边, 陈卫东, et al. 脑机接口技术在航天领域的潜在应用[J]. 载人航天, 2012, 18(3):87-92.
[10] 徐池, 楼铁柱, 伯晓晨, et al. 军用生物技术发展与未来战争生物化趋势[J]. 军事医学, 2012(5):328-331.
[11] Jia C , Gao X , Hong B , et al. Frequency and Phase Mixed Coding in SSVEP-Based Brain-Computer Interface.[J]. IEEE transactions on bio-medical engineering, 2011, 58(1):200-6.
[12] Shishkin S L , Ganin I P , Kaplan A Y . Event-related potentials in a moving matrix modification of the P300 brain-computer interface paradigm[J]. Neuroscience Letters, 2011, 496(2):95-99.
[13] Shishkin S L , Ganin I P , Kaplan A Y . Event-related potentials in a moving matrix modification of the P300 brain-computer interface paradigm[J]. Neuroscience Letters, 2011, 496(2):95-99.
[14] GAO X, XU D, CHENG M, et al. A BCI-based environmental controller for the motion-disabled［J］. IEEE Trans Neur Sys Reh, 2003, 11(2): 137-140.
[15] REGAN D. Human brain electrophysiology: evoked potentials and evoked magnetic fields in science and medicine［M］. New York: Elsevier Science Publishing, 1989.
[16] ZHU D, BIEGER J, MOLINA G G, et al. A survey of stimulation methods used in SSVEP-based BCIs［J］. Comput Intell Neurosci, 2010: 702357.
[17] VIALATTE F B, MAURICE M, DAUWELS J, et al. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives［J］. Prog Neurobiol, 2010, 90(4): 418-438.
[18] ODOM J V, BACH M, BARBER C, et al. Visual evoked potentials standard［J］. Doc Ophthalmol, 2004, 108(2): 115-123.
[19] 张锋, 徐光华. 稳态视觉诱发电位的研究与展望［J］ . 仪器仪表学报, 2010, 31(8): 156-165. ZHANG F, XU G H. Study and prospect of steady-state visual evoked potential［J］. Chinese Journal of Scienific Instruments, 2010, 31(8): 156-165.
[20] 吴正平,魏欢,赵靖,杨翔宇,仇凯.基于SSVEP的无线脑-机接口系统研究与实现[J].中国生物医学工程学报,2019,38(01):120-124.
[21] S. M. T. Müller, Diez P F , Bastos-Filho T F , et al. Robotic Wheelchair Commanded by People with Disabilities Using Low/High-Frequency SSVEP-based BCI[J]. 2015.