中国人工智能学会通讯——基于脑机接口的机械臂遥操作控制

摘要：脑机接口作为一种新型的人机交互方式，在心理认知、智能控制、康复训练等方面具有很大的应用潜力。基于稳态视觉诱发电位（SSVEP）的脑机接口（BCI）系统具有较高的信息传输速率，而且校正时间较短，一直以来都是脑机接口研究中的热点。本文使用基于多导同步指数（MSI）识别算法进行SSVEP信号的识别分类；结合SSVEP-BCI系统，实现了基于脑机接口的机械臂遥操作系统，为脑机接口的实用化提供了一种可应用范例。脑电识别出来的结果将产生机械臂运动的期望轨迹；在系统的视觉反馈交互设计方面，实现了监控图像的压缩反馈。同时提出基于Hausdorff图像匹配的机械臂误差反馈，实现了机械臂末端位置误差的实时反馈，改善了机械臂控制条件。最后通过实验验证了系统的有效性。

关键词：脑机接口；稳态视觉诱发电位；机械臂；遥操作；图像压缩；图像匹配

1 引言

人机接口技术（Human-Machine-Interface，HMI）是实现人与计算机之间建立联系、交换信息输入输出的设备接口。作为一种新型的人机接口，脑机接口（Brain-Computer Interface，BCI）是软硬件高度集成的通信系统，它使得人能够通过自身的脑电信号与他们周围环境进行交互，而不需要人体周围神经和肌肉组织的参与[1]。脑机接口创建了一个新的非生理通道，用于将人的意图传递到外部设备，如计算机、语音合成器、辅助设备和神经假肢。脑机接口研究具有重要的现实意义。在我国，人口老龄化问题以及残障人士数量逐年增加，而老龄化人口认知衰退的现象，与当前医疗保健的高昂成本和老年人生活质量退化息息相关。全世界每年大约有1 500万人患有中风，发达国家中20个成年人中就有一个受到中风影响。中风后，运动功能的恢复对正常进行日常生活至关重要，而脑机接口技术能够帮助中风患者进行运动功能康复训练。通过脑机接口技术，中风患者可以用自己的脑电信号与外界进行交互，例如中风患者通过脑机接口控制计算机光标或是肢体矫正器，用于操作计算机、文字处理以及游戏娱乐等。由于中风影响的是患者大脑的部分功能而不是肢体受损，因此脑机接口还能用于中风康复治疗以恢复受损的运动功能。使用脑机接口技术可以保持老年人认知能力，也可以辅助偏瘫病人康复训练和提高生活自理能力。这对于帮助老年人和肢体运动障碍人士重新融入社会，有着重要的作用。因此，研究脑机接口系统的开发，具有非常重要的社会意义和现实意义。

本文设计了基于稳态视觉诱发电位的机械臂实时运动控制系统，实现了脑电信号对外骨骼机械臂的实时运动控制。系统利用4个LED发光二极管组成视觉刺激器，通过带通滤波器去除背景噪声，并利用基于多导同步指数的频率识别算法分析，将其转换为外骨骼机械臂的控制命令。为使系统控制更灵敏，设计了视觉反馈环节，实现了基于压缩感知的图像监控。同时采用Hausdorff图像匹配对机械臂误差进行反馈，实现了机械臂末端位置误差的实时反馈，改善机械臂控制条件。最后通过实验，验证受试者通过该控制系统可以较好地完成对机械臂的实时控制。该系统的实现，为延伸和提高人类对外部设备的控制能力提供了一种新的探索。

2 系统总体结构

基于脑机接口的机械臂遥操作控制系统的总体框架如图1所示。系统主要组成部分设计如下所述。

(1) SSVEP-BCI 系统

该部分在本地服务器端搭建一个基于SSVEP信号的BCI系统，系统主要由视觉刺激模块、脑电采集模块、脑电识别分类模块组成。视觉刺激模块使用了LCD显示器作刺激器，用于诱发使用者的SSVEP信号；脑电采集模块则由脑电采集设备以及采集程序组成，主要用于SSVEP信号的采集；脑电识别分类模块对采集到的SSVEP信号通过预处理后，采用第4章中介绍的基于多导同步指数（MSI）的频率识别算法，进行SSVEP的分类识别，并输出控制命令。

(2) 机械臂控制系统

机械臂控制系统搭建在远程客户端，该系统主要由脑电命令转换模块和运动控制器模块组成。脑电命令转换模块把接收到的脑电命令转换成机械臂末端的任务空间命令，并把任务空间的命令转换成关节空间命令生成关节电机的运动轨迹；运动控制模块将生成的关节电机角度轨迹转换成电机驱动器的控制命令并发送给驱动器，实现机械臂的控制。

(3) 视觉反馈模块

视觉反馈模块主要由图像采集模块、监控图像的编码以及解码模块组成，实现了使用者实时监控机械臂运动场景的功能。图像采集模块以及编码模块在远程客户端执行，用于实时采集图像，并利用压缩感知算法对图像序列进行压缩编码处理并发送，以减少传输的数据量；图像解码模块在本地服务器运行，主要实现将接收到的图像进行解码重构的功能，解码恢复后的视频将显示在SSVEP-BCI系统的LCD显示器上。

(4) 网络通信模块

该部分主要实现系统模块组成间的通讯，由于本系统是基于Windows平台上的，故网络通信的功能通过Windows下Socket编程实现。通信程序由基于TCP/IP的通讯模块，以及基于UDP的通讯模块组成。基于TCP/IP的通讯模块用于主从端之间脑电命令的发送与接收；基于UDP的通讯模块用于主从端之间图像数据的发送和接收。

3 稳态视觉诱发电位脑机接口

稳态视觉诱发电位是指脑电波对视觉刺激的周期性响应。当刺激频率在高于6 Hz的情况下大脑枕叶将产生SSVEP。如果是以闪光模式刺激，产生的SSVEP会呈现出正弦波状的波形，其基带频率与刺激的闪烁频率相同。基于SSVEP的脑机接口要求用户通过眼睛注视的方式选择目标。使用者在将视觉注意力凝聚在目标上，与此同时BCI通过用户产生的SSVEP来分析特征并识别目标。图2所示的是刺激频率为8 Hz、10 Hz、12 Hz以及15 Hz下产生的SSVEP的幅度谱。以10 Hz刺激频率产生的SSVEP幅度谱为例，可以看出，SSVEP的频谱在基频（10 Hz）处有很明显的峰值，而在二倍频（20 Hz）处有稍低的尖峰。

稳态视觉诱发电位作为诱发脑电信号，具有较高的信噪比、较低的响应时间、较高的信息传输率，以及较少的训练次数等优点。这也是本文使用SSVEP作为脑机接口输入信号的原因。

在目前的稳态视觉诱发脑机接口中，常用的频率识别算法有基于单导联信号的功率谱密度分析方法（Power Spectral Density Analysis，PSDA）和基于多导联信号的频率识别算法。PSDA 是SSVEP-BCI 中常用的一种频率识别方法，这种方法只需要将单导联的脑电信号从通过傅里叶变换（FFT）估计信号的功率谱密度，然后检测出SSVEP 在频域上的峰值，并将该峰值的频率作为识别结果。而基于多导联信号的频率识别算法充分利用多通道数据的信息来减少校准以及参数调优，这类识别算法具有较高的识别准确率和鲁棒性，为用户使用系统带来很多方便。常用的基于多导联信号频率识别算法有典型相关分析（Canonical Correlation Analysis，CCA）[2-3]和多变量同步指数（Multiple-variable Synchronization Index，MSI）[4]。

基于多导同步指数的多导联EEG信号频率识别方法的核心是，计算EEG信号与参考信号之间的同步指数。信号之间的同步性可以用嵌入维（embedding dimension）来描述。两组信号之间同步性越强，嵌入维数越大；同步性越小，嵌入维数越小。[5]而信号之间的嵌入维数大小决定了信号相关矩阵的特征谱分散或聚集，而特征谱的分散或收缩可以通过计算标准化特征值的熵来衡量。熵越大特征谱越分散，熵越小特征谱越收缩。[6]因此，通过计算两组信号之间相关矩阵的标准化特征值的熵，可以得到信号之间同步性的程度，这种方法称作S-估计。基于同步指数的SSVEP识别过程为，通过对SSVEP信号和各组参考信号进行S-估计，计算出SSVEP信号与各组参考信号的同步指数，最终选择具有最大同步指数所对应的频率作为识别结果。下面介绍基于MSI的频率识别算法的过程。

图4是对比三个测试者用PSDA方法、CCA方法和MSI方法，在不同时间窗长度下测得的平均识别准确率。由图中可以看出，随着时间窗长度的加长，三种算法的识别准确率都逐渐提高。从图中还可以看出，MSI算法在不同时间窗长度下的识别准确率都比CCA算法和PSDA算法的识别准确率高，而且在较少数据下有着良好的识别效果。基于MSI和CCA的频率识别算法要优于PSDA算法的识别效果，因为MSI和CCA通过结合更多导联的数据，提取主要的信号成分；而PSDA算法只用了单导联的数据，算法的鲁棒性远不如MSI和CCA算法。

综上所述，基于MSI的频率识别算法相比其他两种算法表现出较高的识别准确率和稳定性，特别是在较短时间窗长度下有满意的识别效果。

4 视觉反馈设计

在脑机接口系统中，为了达到较好的控制效果，受试者需要根据机械臂的运动情况进行相应的调节，因此在基于SSVEP-BCI的机械臂遥操作控制设计中，需要添加反馈环节。反馈环节是在外界设备执行被试者控制命令时，将所执行情况和环境信息及时传送给被试者的过程。如此既帮助被试者了解被控装置周围环境，进而调节控制命令，又有利于被控装置的自调节便利执行，还将环境数据通过反馈通道传回至被试者所在计算机，方便了系统管理及数据存储。该环节可以极大地增强被控装置环境适应性，进而提升BCI系统整体性能。

本文采用了网络视频监控作为系统的反馈环节，远程客户端机械臂的运动场景会通过网络实时反馈至本地服务器端，并显示在视觉刺激显示器上；同时反馈机械臂末端的位置图像误差。

4.1 基于压缩感知的图像压缩

奈奎斯特采样定理指出，采样信号要能恢复出原始信号，需要满足采样频率大于2倍原信号自身频率的条件，因此可以通过采样信号恢复出原始信号。称满足这个条件的采样频率为奈奎斯特采样频率。然而Donoho、Candes和Tao等人提出，在信号是稀疏的，或在某个变换域上是稀疏的前提下，通过一个测量矩阵将原信号从一个高维空间投影到一个低维空间上，可以实现对信号进行远低于奈奎斯特采样频率的采样。原信号的恢复可以通过求解一个凸优化问题将采样到的少量数据，以较高的概率重构出原始信号。这就是压缩感知理论（Compressive Sensing）的原理[7-9]。

本文使用OMP算法对二维图像进行重构。由于图像的信息量一般较大，虽然对整幅图像进行处理往往可以取得比较好的重构效果，但是这样会使测量矩阵变得比较大，致使计算和存储开销较大，因而将图像分成独立的小块，可以使测量矩阵的维度和计算量变小，但对应的处理结果会受到一定影响。本文中将图像分成若干个8×8的小块进行单独处理。图5中显示了在不同采样率下，OMP算法对二维图像的重构效果，以及不同采样率与重构图像质量的关系。由图可以看出，随着采样率的提高，图像的恢复效果也逐渐提高。

4.2 Hausdorff 图像匹配

图像匹配是图像处理领域的基础问题，是指对两幅或多幅图像通过一定的算法在空间上进行相似性配准。匹配过程中包含基准图和实时图，基准图指的是预先准备好的作为模板的图像；实时图则是在整个图像匹配过程中实时获得的图像。图像匹配技术作为图像分析技术的基础，在导航定位、目标识别、数据融合等方面有着广泛的应用。图像匹配技术在模式识别中，常用于在一幅图像中确定出两件物体之间的相对位置。因此，图像匹配亦可以用于描述两幅图像之间的距离。

图像匹配的主要问题是要寻找两幅图像之间的最优空间位置和灰度的映射，从而使两幅图像实现最佳的匹配。因此，图像的匹配值也可作为两个集合的相似性度量，用来表示两个图像之间的距离。常用的计算相似度的算法有离散度量、明考夫斯基距离、瓶颈距离和旋转功能距离等，这些算法都能较为精准的计算出两个点集合间的相似性，但这些距离度量并没有把空间目标的形状差异和相对位置差异考虑进去。为解决这些问题，拓扑学家Fexlix Hausdorff 提出了一种能顾忌空间目标整体形状距离的度量，该度量广泛应用于衡量两个集合间的差别。

本文的匹配策略如图6所示。首先系统预先存好机械臂末端的期望位置图像，并提取图像的特征用于标识机械臂末端的位置；同时在机械臂末端放置红色纸块，通过颜色分隔提取出二值图像标识机械臂末端位置，并作为图像匹配的基准图。在使用者控制远程机械臂的过程中，本地服务器端接收到实时的机械臂末端位置图像与本地基准图进行匹配，求出匹配误差并在屏幕显示。此时，若匹配误差接近为0，则本地计算机关闭视觉刺激以及停止采集脑电；若匹配误差不为0，则使用者需要通过脑电继续发出控制指令使机械臂末端到达期望位置。

5 实验结果

本文针对所设计的基于SSVEP-BCI的机械臂遥操作控制系统进行实验验证。三位受试者参与了本次实验。在本实验中，受试者都会给定一个机械臂末端要到达的期望位置；受试者可以自由决定远程客户端中，机械臂末端执行器到达期望位置的运动路径；受试者注视刺激闪烁块发送控制指令的同时，还可以观察在刺激屏幕中的视频反馈，实时监控机械臂的运动情况。而且在控制过程中，机械臂末端当前位置特征图像与期望位置特征图像计算得到的匹配误差，将显示在视频反馈区域的下方，当机械臂末端到达期望位置时，该误差值会接近为0。因此，受试者可以通过视频反馈模块，以及图像误差值来调整控制指令，使机械臂末端到达期望位置。

实验结果如图7所示，图7(a)是1号受试者实验时通过SSVEP-BCI输入控制命令控制机械臂运动在任务空间的运动轨迹图，其中黑色连杆代表机械臂初始位置、红色连杆表示机械臂末端的最终位置。图7(b)是各个关节电机的运动误差图，由图中可以看出2个关节基本上都实现了很好的跟踪，运动误差很小。其他两位受试者的实验数据如图8和图9所示。图10是3位受试者在实验过程，机械臂末端位置图像的Hausdorff匹配误差值变化曲线，由图9可以看出，随着机械臂末端逐渐到达期望位置，机械臂末端的当前运动位置特征图像，与期望位置特征图之间的匹配误差逐渐趋近于0。