论文笔记——Task Level Hierarchical System for BCI-enabled Shared Autonomy

原文链接：http://www.cs.columbia.edu/~allen/PAPERS/Humanoids_2017.pdf

Abstract—This paper describes a novel hierarchical system for shared control of a humanoid robot. Our framework uses a low-bandwidth Brain Computer Interface (BCI) to interpret electroencephalography (EEG) signals via Steady-
State Visual Evoked Potentials (SSVEP). This BCI allows a user to reliably interact with the humanoid. Our system clearly delineates between autonomous robot operation and human-guided intervention and control. Our shared-control system leverages the ability of the robot to accomplish low level tasks on its own, while the user assists the robot with high level directions when needed. This partnership prevents fatigue of the human controller by not requiring continuous BCI control to accomplish tasks which can be automated. We have tested the system in simulation and in real physical settings with multiple subjects using a Fetch mobile manipulator. Working together,

the robot and human controller were able to accomplish tasks such as navigation, pick and place, and table clean up.

摘要—本文主要研究用于仿人机器人共享控制的新型分层系统。我们的框架使用低宽带的脑机接口（BCI）通过稳态视觉诱发电位（SSVEP）来解释脑电信号（EEG）。该接口可以使人机进行可靠的交互。我们的系统清楚地划分了机器人自主控制和人类引导干预控制的界限。该共享控制系统利用机器人自己完成低级的任务，用户只是在需要的时候提供高层次的帮助。这种伙伴关系通过不要求连续的BCI控制完成那些机器人可以自主完成的任务来避免用户的疲劳。我们已经使用抓取移动机械手在多个对象的模拟和物理环境中对该系统进行了测试。机器人和用户协作能够完成导航、抓取、放置和清理桌子等任务。

一、引出问题（Introduction）

在很多控制仿人机器人的任务中，由于控制人福德复杂性和多样性，很容易导致过度控制和选择过度等问题，致使机器人工作效率较低。本文研究的是一种分层系统，使用户和仿人机器人协同控制完成任务，将复杂的任务划分为一些子任务，既可以使仿人机器人可以充分发挥自己的优势，又可以避免用户由于连续的控制产生的严重的疲劳感。

二、系统结构与研究方法（Methods）

A.分层框架

在分层框架中，有一些节点是不确定性的，需要将这些命令作为输入选项，以视觉刺激的形式呈现给用户，由用户做出选择。

图一：   图（a）为将清理桌子的任务分解为子任务的例子    图（b）为解决不确定性的扩展节点的流程

B.刺激产生

机器人不确定任务的下一阶段操作时，将解决方案的选项提供给用户。例如：机器人不确定目的地时，向用户呈现地图，图二为一个典型的环境；用户要决定最后的选择，就通过注视代表该选项的刺激块，图三为视觉刺激（刺激频率分别为6.6Hz、8.5Hz、9.9Hz）

图二

图三

脑电信号采集和处理：

采样率为256Hz，A1、A2为参考电极，通过2.5Hz~30Hz的带通滤波器滤波后，使用典型相关性分析（CCA）选择与脑电信号最相关的频率。SSVEP分析的关键参数包括：通道位置、窗口长度和谐波数量，实验中记录大脑信号5~12秒，使用三次谐波进行CCA分析。

CCA：给定从多元随机变量x∈Dx和y∈Dy生成的两组数据x和y，CCA找到每个集合的投影，使他们的投影具有最大相关性：

记录的EEG信号作为变量x传入，对于y，我们生成对应于每个给定频率fi的正弦数据，并将一些谐波记为yi，通过CCA得到最优相关值，与大脑信号最相关的频率决定用户的选择，即输出的命令：

三、实验设计（Experiments）

A.模拟实验

在模拟环境（见图二）中，使用一个简单的任务生成器随机生成任务。

B.物理实验

该实验如图四所示，用户指导机器人以特定顺序清除指定的对象，机器人可以将物体传递到用户或者放置到其他位置，机器人通过BCI与用户通信，在不同的阶段获取指令直到完成任务，实验的流程如图一所示。机器人首先查询用户来确定要接近的对象，然后自动导航到指定的对象，再对对象进行可视化处理并分割出来呈现给用户来选择要抓取的对象，最后完成抓取。

图四（a）  用户输入

图四（b）  导航

图四（c）  视觉

图四（d）  操作

实验结果：

对七个被试进行了实验，对每个被试者进行三次试验，所有实验都可以完成任务，成功率如下表：

实验不同阶段的时间分布如图五：

预测精度与BCI信号采集时间的关系如图六：

四、结论与分析（Conclusion）

本文证明通过BCI采用共享控制的方法是可行的，采用分层控制，尽在需要选择的时候需要用户的决策，对比于之前需要用户持续的控制有了很大改进，但是该系统需要用户与机器人之间的同步性很高，否则很容易出现用户的命令没有被执行或者用户错过甚至没有接收到机器人的方案选项。