Towards BCI-based Interfaces for Augmented Reality: Feasibility, Design and Evaluation

Towards BCI-based Interfaces for Augmented Reality: Feasibility, Design and Evaluation

迈向基于脑机接口的增强现实：可行性，设计和评估

---

摘要

脑-机接口（BCI）使用户能够与计算机无需特定移动的进行交互，从而带来了新的免手势交互方式。在本文中，我们研究了BCI和增强现实（AR）的组合。我们首先测试了基于光学透视头戴式显示器（OST-HMD）在AR设置中使用BCI的可行性。实验结果表明，BCI和OST-HMD设备（在我们的情况下是头戴EEG和Hololens）兼容良好，并且在使用BCI时可以接受头部的轻微晃动。其次，我们在开发一种名为稳态视觉诱发电位（SSVEP）的经典大脑模式时，引入了基于AR中BCI的命令显示策略的设计空间。我们的设计方式依赖于有关BCI菜单视觉布局的五个维度; 即：方向，参考框架，锚地，大小和明确性。我们实施了各种基于BCI的显示策略，并在AR中的移动机器人控制环境中进行了测试。我们的研究结果最终集成在一个基于真实移动机器人的操作原型中，该机器人使用BCI和HoloLens在AR中进行控制。综合我们的结果（4个用户研究，94个参与者）和我们的方法可以为AR在未来的交互方案铺平道路，开发基于大脑活动和BCI的3D用户界面。

1 介绍

BRAIN-计算机接口（BCI）实现了新颖的设计直接基于大脑活动的交互方案用户的心理状态[1]。 BCI翻译大脑活动进入“心理命令”，可以在广泛的应用程序中利用，从帮助残疾人或娱乐和视频游戏的再教育疗法。
在之前的工作[2]中，我们对结合BCI和增强现实（AR）的项目进行了调查，并观察到目前为止这种组合研究相当少。 主要原因可能是基于BCI的控制性能仍然有限，这两种技术固有的复杂性，以及基于BCI设计有效用户界面（UI）的难度。
在本文中，我们通过遵循针对AR的基于BCI的接口的可行性，设计和评估的综合方法，研究了BCI在增强现实中的使用。 考虑到这个问题的维度非常多，我们建议关注：一个BCI类别（基于称为稳态视觉诱发电位或SSVEP的大脑模式的BCI），一个AR类别（光学透视系统） ）和一项任务（移动机器人控制）。 然后我们的方法可以延伸到其他环境。
SSVEP是当人类视觉系统被周期性闪烁刺激刺激时发生的特定脑模式。 大脑以视觉皮层区域的相同频率响应活动[3]。 当面对以不同频率闪烁的多个目标时，可以通过分析他/她的脑电图（EEG）信号来确定用户正在关注哪个目标（参见第3.1.3节）。 通过将每个目标与特定命令相关联，可以创建具有多个心理命令的BCI [4]。然而，已知这种大脑活动对外部和内部噪声敏感，这意味着BCI性能可能受到影响 例如，通过与其他设备（例如电池）的电磁干扰和/或通过用户的肌肉活动（例如头部运动）。

因此，本文的第一个目标是研究结合BCI和AR技术的可行性。我们的目的是测量外部和内部噪声对AR中基于SSVEP的BCI性能的影响。我们进行了两项用户研究，评估BCI性能可能下降的原因：1）EEG耳机和AR耳机（研究1）; 2）观察AR场景时用户头部的运动（研究2）。

第二个目的是提出一种通用的方法来设计基于SSVEP的BCI用户接口，即基于AR中闪烁目标的选择。作为一个起始用例，我们考虑了机器人控制的背景，使用3个commanueds，基于SSVEP脑模式。我们提供了不同可能布局的扩展设计空间，以显示基于SSVEP的机器人控制的3个目标。这个设计空间包括2个模态的​​五个维度：方向（正面与横向），参照系（自我中心与外部中心），锚定（用户附着与机器人附着），大小（绝对vs自适应）和显性（显性与隐性）。此设计空间意味着32种（25种组合）不同的显示策略。然后，我们进行了一项用户研究（研究3），以选择32中的首选策略，这样可以对它们进行排名并确定最直观的候选者。接下来，我们根据BCI在机器人控制的具体案例中的表现评估了4个代表性策略（研究4）。

本文的第三个目的是说明AR中基于BCI的应用原型的开发。我们可以将以前的所有结果集成到一个独特的设置中，专门用于通过基于SSVEP的BCI控制AR中的真实移动机器人。
我们相信，本文中提出的一般方法可以指导未来的研究和开发，以实现增强现实应用的基于BCI的有效接口。
本文的其余部分结构如下：第2部分介绍了以前关于AR和BCI组合的工作。第3节描述了实验方案和评估BCI和AR技术兼容性的两个可行性研究的结果。第4节介绍了我们扩展设计空间的命令显示策略，用于AR中的机器人控制，以及两个用户研究，旨在确定首选设计策略及其对BCI性能的影响。第5节描述了我们用于真实移动机器人控制的最终原型的开发。本文最后以一般性讨论（第6节）和结论（第7节）结束。

2 相关工作

在增强现实应用中探索使用脑机接口的作品数量仍然相对较少[2]。尽管初步研究表明可以将BCI与AR结合[5]，[6]，但我们还没有发现任何研究 系统地调查结合AR和BCI的能力。
在本节中，我们总结了在AR上下文中使用和测试BCI的现状。 我们根据他们使用的AR系统的类型对以前的作品进行分类：（1）视频透视，或（2）光学透视。

2.1 视频透视AR和BCI

视频透视（VST）AR系统包括使用相机（平板电脑，手机等）记录真实图像，并使用虚拟元素实时重新显示它们。
在VST AR的背景下使用SSVEP已经由Faller等人进行了初步测试。在[5]，[6]中有3个科目。他们使用了一个由HMD和头戴式摄像头组成的VST系统，以及一个基准标记跟踪系统。该任务包括通过预定义路径导航虚拟化身，同时使用4个命令在特定平台上停留：（1）向右转45°，（2）向左转45°，（3）直行走一个单位（ 4）打开或关闭其他刺激。三个科目中有两个设法在规定的时限内完成障碍赛。尽管这项研究很有前景，但参与者数量少以及性能测量有限，因此必须进行更广泛和正式的研究。
在密切的背景下，Gergondet等人[7]开发了一个基于SSVEP的系统来操纵机器人，其中机器人的主观视图显示在计算机屏幕上，增加了方向和速度控制。由于命令显示在计算机屏幕上，因此设置不允许太多的移动性。此外，机器人的第一人称视图使得难以确定机器人在其环境中的精确状况。后来，这项工作是扩展到使用HMD [8]。在类似的设置中，Escolano等人[9]利用了P300范式。
Lenhardt和Ritter [10]开发了一种基于P300 1的系统来控制带VST-HMD的机器人手臂，使其移动放置在桌子上的立方体。立方体用基准标记标记，当它们被系统检测到时，闪烁的3D数字出现在它们之上。通过关注与所需立方体对应的数字，用户可以选择要移动的那个。选择多维数据集后，表格上会出现一个虚拟网格。该网格的每个单元格也闪烁以表示移动立方体的潜在目标区域。
BCI和AR的组合也可以应用于医学领域。由Correa-Agudelo等人设计的ViLimbs系统[12]用于幻肢痛治疗是一个代表性的例子。在缺失臂的近端部分使用基准标记，该系统在大屏幕上显示患者的镜像视图，用虚拟肢体增强以代替缺失的肢体。然后使用EEG信号检测未遂动作，让患者将手臂移离疼痛位置。这种设置可以被认为是用于幻肢痛治疗的镜疗法的增强[13]。
似乎VST-AR是与BCI结合使用的最常用的AR类型。然而，当今基于HMD的AR技术的主要趋势之一是光学透视AR。

2.2 光学透视AR和BCI

光学透视（OST）AR系统包括直接在用户的视野中显示虚拟内容到半透明屏幕上，该屏幕允许同时看到真实环境。
在OST-AR的背景下，对BCI的使用进行了较少的探索。据作者所知，只有Takano等人[14]已明确探索此解决方案。他们的研究分两步评估了家庭自动化系统。
首先，他们对单眼OST耳机和EEG进行了性能评估。他们比较了液晶显示器和单眼HMD上P300选择的在线和在线分类精度。要求15名受试者通过菜单发出5个P300命令，这些命令叠加在他们的视野中或显示在LCD屏幕上。他们报告在LCD屏幕上的在线分类准确度为88％，在电视控制的HMD上为82％。离线数据的双向重复ANOVA显示LCD和HMD之间在同一任务中的性能显着下降。他们认为这种差异可能是由于不同的图标大小和两个条件之间的距离。尽管这些结果是有希望的，但是分类器仅在静态条件下进行了测试而没有移动，并且在焦距和刷新率方面，两种配置中的显示条件没有被提及为相同。
其次，他们用基准标记标记家用电器（灯具，电视），以便参与者可以通过盯着它们进行互动（使用单眼HMD）。在用户的视野中，交互基于P300菜单（以网格布局结构化的项目），表示设备上的不同可能操作。

文献研究的主要结论是，大多数结合AR和BCI的开发系统都依赖于视频透视（VST），例如[7]，[10]。很少有研究人员研究过BCI与光学透视AR（OST）的使用[14]，并且没有人仅仅评估设备之间的硬件兼容性。值得注意的是，所有原型和研究都依赖于简单的用户界面，并没有考虑通过SSVEP或P300命令的不同布局来提高可用性的可能性。

在以下部分中，我们将讨论不同可能的中断源以及AR中命令显示策略的问题。

3 可行性研究：测试BCI和AR技术的兼容性

已知BCI对噪声非常敏感。将BCI与AR相结合可能会引入2种不同的破坏来源。首先，在硬件层面，两种技术都需要头戴式设备，并且必须确保它们不会干扰（外部噪声）。其次，在用户通常可自由移动的AR的背景下记录大脑活动也可能是困难的，因为肌肉活动可能引起BCI记录中的伪影（内部噪声）。

因此，为了评估BCI与OST-HMD AR系统的兼容性，我们进行了2次用户研究。关于“外部噪声”的第一项研究旨在评估将两个耳机（BCI和AR耳机）与性能相关联的效果。关于“内部噪音”的第二项研究旨在评估头部运动对BCI表现的影响。在本文的范围内，我们关注在AR中使用SSVEP。

在介绍实验细节之前，有趣的是指出，在文献中，据报道，SSVEP响应在屏幕显示的目标[15]，[16]和基于指导的目标上被成功分类，准确率约为80％。在静态环境中的刺激[17]。很少有论文涉及运动中SSVEP选择的问题[18]。以前的研究报告SSVEP分类准确度与步行速度成正比，但他们没有考虑头部的运动，这可能对SSVEP造成更大的破坏性，因为颈部靠近枕叶（EEG传感器）通常用于SSVEP）。

本文提出的实验均根据赫尔辛基宣言的相关道德研究指南进行。向所有参与者简要介绍了实验的性质，并在每个实验开始时签署了知情同意书。

3.1 用户研究1：设备对BCI性能的影响

第一项研究的目的是回答以下问题：（1）由于佩戴OST-HMD导致的EEG信号质量受损？ （2）显示器产生的电活动是否会破坏信号？ （3）SSVEP范式在这种立体AR环境中是否有效？ 评估这些问题，比较BCI性能，同时在不同硬件配置中与SSVEP接口进行交互。

在以下段落中，介绍和讨论了实验方案和本研究的结果。

3.1.1 设备和参与者

视觉刺激（SSVEP目标）显示在47英寸屏幕或Microsoft HoloLens上（参见图1）。 两个显示设备具有相同的60Hz帧率。 为了在实验配置之间保持类似的配置，由于HoloLens的焦距，参与者坐在离屏幕2米处。 此外，屏幕覆盖了与HoloLens相同的参与者中心视野区域。

图1：研究1的实验设置：用户佩戴EEG帽以及HoloLens。 在这种特殊情况下，SSVEP目标显示在屏幕上。
从g记录脑电图（EEG）数据。 USBamp放大器（g.tec，格拉茨，奥地利）使用6个头皮电极（CPz，POz，O1，O2，Oz，Iz-10-20系统）参考耳朵并接地到Cz。 这样的电极位置能够覆盖视觉皮层，从那里触发SSVEP [19]。

13名初次参与者（年龄25.9±3.1岁，2名女性）参加了这项实验。

3.1.2 实验方案

在他们签署知情同意书并获得有关实验的所有相关信息后，参与者配备了脑电图上限。
安装完毕后，参与者被要求完成4次SSVEP培训。每次运行持续约7分钟（30次试验）。每次运行包括在屏幕上或通过HoloLens显示3个白色目标。根据文献选择刺激频率，报告哪些频率引起最高的SSVEP反应[20]。这些目标中的每一个都以不同的频率（10,12和15Hz）闪烁。目标是10cm宽的圆形，排列成46cm侧的等边三角形。
参与者被指示通过一个箭头指向它的外观，专注于一个特定的目标。 7秒后，目标停止闪烁，并向参与者提供反馈：其中一个目标以绿色突出显示2秒。鉴于我们没有执行任何在线分类，反馈是假的。正确的目标在80％的时间突出显示，而其他两个中的一个在其余时间突出显示，以保持参与者的积极性。然后，参与者在下一次试验开始之前休息了2秒。试验结构如图2所示。
总的来说，参与者必须以随机顺序每次运行10次针对每个目标。会议分为4次运行，每个条件运行一次：（C1）屏幕上显示的目标，屏幕上没有HoloLens，（C2）目标，HoloLens关闭，屏幕上显示（C3）目标，HoloLens已开启，（C4）通过HoloLens显示的目标。运行的顺序在参与者之间随机化以避免任何潜在的顺序效应。总共，实验包括120次试验，持续22分钟。
每种条件的分类准确性提供了关于OST-HMD对EEG数据质量的潜在影响以及在立体视觉AR背景中使用SSVEP的可行性的见解。我们的假设是分类准确性不会显着不同，具体取决于 条件，即参与者在四个条件下执行相同的操作。

图2：试验时间。（t = 0s）指示用户通过箭头聚焦特定目标。（t = 1s）箭头消失，所有目标闪烁7s。（t = 8s）闪烁停止 提供虚假反馈（指定目标在80％的试验中以绿色突出显示）。（t = 10s）在下一次试验开始之前开始两秒钟休息。

图3：研究1的结果：箱形图表示作为视觉条件的函数的％（N = 13）的分类准确度。

3.1.3在线脑电数据分析

数据以512 Hz采样并使用OpenViBE软件进行处理[21]。如前所述，目标在10,12和15 Hz闪烁。每次运行每次10次试验（每次闪烁频率对应一类），即每次运行30次试验。为了确定每次运行获得的性能，我们进行了离线10倍交叉验证程序。因此，对于每次运行的每个类，使用9个试验来训练多类共同空间模式（CSP [22]）和线性判别分析（LDA [23]）算法，而最后一个试验用于测试这些算法。对于每次运行的每个类，该操作被计算10次。多类CSP包括以[9.75; 10.25] Hz为10 Hz类别过滤数据，[11.75; 12.25] Hz为12Hz类别，[14.75; 15.25] Hz为15 Hz类别，然后发现6个空间过滤器由此产生的脑电功率在一个类别与其他类别之间最大不同。空间滤波的EEG信号功率（在500ms时间窗上计算，具有100ms重叠）用于训练多类LDA。然后使用该LDA来区分用户何时聚焦于以10,12或15Hz闪烁的目标。

3.1.4结果与讨论

其中一个样本没有遵循正态分布。因此，我们对配对样本进行了非参数检验，即Friedman检验，以检验这一假设。鉴于相对较多的样本（4次运行和13次参与者），该测试可以通过x2测试近似，3自由度（4次运行-1）。根据我们的假设，结果显示运行之间没有显着差异[X2（3）= 5.025; p = 0.170]。结果总结在图3中。
分类准确性倾向于证实我们的假设，因为所有条件的分类准确度在75％和80％之间，这与文献[15]，[16]一致。它也证实了Takano等人[14]的先前结果。关于组合AR和BCI耳机的可能性。
关于用户体验，参与者报告说，一段时间后，HorLens感觉很沉重。此外，他们在开机时报告了一些反射。当聚焦于屏幕上的目标时，这些反射对于其中一些人来说似乎是不舒服的。

3.2用户研究2：用户移动对AR中BCI性能的影响

使用OST-HMD时的主要优点之一是用户在与系统交互时移动的可能性。特别地，用户通常必须移动他/她的头部以便与AR环境交互。

因此，第二项研究的目的是评估头部运动（内部噪声源）对BCI选择性能的影响，以回答问题：是否有可能对AR中的运动目标进行SSVEP选择？头部运动会影响BCI的表现吗？对于这个问题，我们使用运动强度的概念来指定振幅和速度的组合。低强度运动以低速和低振幅执行，而高强度运动快速且宽。为了评估在移动目标上使用基于SSVEP的BCI的可能性，我们比较了在不同运动强度下选择目标的用户表现。

以下段落详述了实施的实验方案以及实验结果。

3.2.1 设备和参与者

在Microsoft Hololens上再次显示视觉刺激.EEG装置与先前描述的实验中的相同。 为了确保参与者的结果保持一致，他们被要求站在同一地点，只是为了跟随移动的目标而移动他们的头部。 在这个实验中，我们想要评估最糟糕的实际情况，用户将无法预测目标的移动，因此参与者不会被告知目标的跟随方向。
15名参与者（年龄22.8±2.6岁，1名女性）参加了实验。

3.2.2 实验方案

安装后，参与者被要求进行4次SSVEP培训。每次运行持续约7分钟，包括36次试验。在这种情况下，试验包括通过HoloLens显示3个白色目标。这些目标中的每一个都以不同的频率（10,12和15Hz）闪烁。它们表示为10cm宽的圆形，排列成46cm侧的等边三角形，以保持与先前研究相同的构型。同样，试验结构和反馈策略也与图2中描述的相同。
在每次运行期间，参与者必须在不同的运动配置下关注每个目标12次，以随机顺序提交。有4个头部运动条件：（C1）没有运动的测试条件（静态目标），（C2）低强度运动配置，从左到右的最大振幅为40，（C3）中等强度运动最大振幅为100°的配置和（C4）最大振幅为160°的高强度运动。在这种情况下，移动幅度表示头部的旋转角度。

所选择的运动形式（目标的路径）是伯努利的一个lemniscate（见图4）。除了对称之外，该路径还包含不同的水平和垂直方向的运动。伯努利的lemniscate是smoothand防止突然的方向变化，减少由不连续性引起的潜在伪影。执行路径的方向在每个班级都是平衡的。由于用户已经对每个班级进行了12次聚焦，他/她必须从4个可能的初始运动中的每一个执行3次路径，即从（1）右上角，（2）左上角，（3）向右下方开始。 （4）向左下方。这种平衡是为了避免由于重复执行相同的头部运动而可能出现的偏差，这可能会使分类产生偏差。
最后，使用参数表示（等式1），可以通过改变半模d的半焦距来实现不同的运动幅度;（见图4）同时确保在7秒内执行整个运动，实现运动的概念强度。换句话说，一个小的lemniscate在7s（低速）进行，而较大的一个在7s（在更高的速度）进行。

3.2.3 结果和讨论

根据文献[18]，[24]的结果，我们的假设是头部运动会降低SSVEP反应的分类准确性。特别是因为这种范例是从头部后面的视觉皮层上的记录中利用，并且当头部运动征求颈部时，最强的肌肉伪影应该出现在该区域中，靠近EEG电极。因此，实验结果显示BCI性能的明显降低以及运动强度的增加（见图5）。因此，当参与者不移动时，平均性能从78％下降到最大移动幅度的41％（大概是机会水平[25]）。
此外，对数据进行统计检验表明，这种差异在置信度为95％时具有统计学意义（Friedman检验按3.1.4节进行）。然而，在通过Friedman测试之后的条件之间的多重比较进行Post-Hoc测试之后，似乎“无运动”和“低强度运动”条件之间的差异不显着（参见图5）。
除了统计分析之外，对参与者在实验后填写的表格进行的研究表明，绝大多数参与者在“高强度运动”条件下遵循目标时遇到困难，因为这是极端条件。因此，性能的恶化也可能部分地归因于不能精确地跟踪目标。
简而言之，该实验的结果表明，在AR的情况下，可以使用SSVEP作为选择技术，头部运动较小（振幅约为40）。它们还表现出较高强度运动的性能显着恶化（ 100°但仍然高于机会水平[25]，而极高强度的运动禁止使用SSVEP。

图4：用户研究中使用的不同运动强度和目标运动2：半焦距di（40°）

图5：研究2的结果：箱形图表示作为运动强度的函数的％（N = 15）的分类准确度。

4 AR中基于BCI的用户界面的设计空间：SSVEP目标显示机器人控制策略

在基于BCI设计AR中的交互系统时，除了分类性能之外，用户界面对系统的可用性起着重要作用。在SSVEP的情况下，UI位于选择菜单的布局和向用户显示多个目标（通常为3）的策略。但是，此布局与任务及其设计的应用程序密切相关。由于用户在应用程序的上下文中无缝地理解命令的含义是很重要的，因此界面中的命令按钮的一致显示和集成在很大程度上取决于任务。在本文的案例中，我们选择了机器人遥操作系统的说明性示例。
因此，在本节中，我们构思了所有可能布局的设计空间，用于在AR环境中集成3个SSVEP目标，用于控制移动机器人。
我们相信我们的方法，方法和设计空间可以扩展到其他环境，例如。更多目标，其他BCI范例，其他任务等。

4.1 SSVEP目标显示策略的设计空间

我们的目标是提出一个设计空间，以表征在3D空间中显示3个SSVEP目标的所有可能性。 考虑到我们的移动机器人控制的应用案例，三个命令足以为机器人提供3个选项：“前进”，“左转”和“右转”。 为了提出每个命令与AR目标的最一致的关联，我们提出了一个5维设计空间，描述了3个命令目标的所有可能布局。 这五个维度，即方向，参照系，锚地，大小和显性，如下所示：

• 方向：此尺寸对应于包含3个目标的平面的方向。 这架飞机可以是“横向”，即。 平行于地平线或“正面”即。 面向用户（见图6a）。 当横向排列时，目标与机器人在移动时处于同一平面。因此我们期望将每个命令与其相应的效果相关联更容易。 当正面布置时，用户必须沿水平轴进行心理旋转。
• 参考框架：此尺寸对应于3个目标的参照系。 它可以设置为机器人或用户。 它可以与“以自我为中心”和“以外向中心”的参照系的概念相关联。 在第一种情况下，目标对应于绝对方向，相对于用户设置。 为了将目标与方向命令相关联，用户必须执行心理旋转以使用机器人的移动方向来映射目标。当“外为中心”即。 当机器人连接到机器人时，包含目标的平面将随着机器人的旋转而旋转，从而使目标的布置相对于机器人保持恒定。 在第二次设置中，机器人右侧的目标将始终对应右转（见图6b）。
• 锚点：此维度对应于3D中目标框架的位置。 目标可以“锚定”到机器人或用户。 在第一种情况下，三个目标设置在机器人的顶部，因此随机器人移动。 在第二种情况下，它们连接到用户的视野 - 在2米的距离处以满足HMD的焦距配置。 在这种情况下，它们会相应地移动到用户的头部运动（见图6c）。 两种模态之间的主要区别在于，当锚定到用户时，后者可以向机器人发出命令，即使它不再在用户的视野中。
• 尺寸：此尺寸与目标的尺寸有关，也可以是系统人机工程学的有影响的参数。目标的大小可以是“绝对”或“自适应”。由于目标是3D对象，我们使用此术语来定义它们的实际大小。当大小设置为绝对时，目标的半径将固定在3D空间中。换句话说，机器人离用户越远，目标就越小。从透视角度来看，目标的大小取决于用户和机器人之间的距离。在自适应条件下，3D空间中目标的实际大小未被固定。它将适应始终以相对于用户的相同尺寸显示。换句话说，即使机器人远离用户，目标的大小也会增加以进行补偿，因此目标总是以与用户相同的尺寸出现（参见图6d）。绝对设置的优点在于，将目标与其控制的机器人相关联更容易。然而，与较小的目标相比，更大的目标可以更容易关注。最后，据报道[26]更大的SSVEP目标引出更强的SSVEP响应，因此我们期望在大小设置为自适应的配置中获得更好的分类结果。
• 显式性：此维度不是显示配置，而是对应于目标和命令之间关联的显式性。 改善应用程序语义的一种方法是明确地将目标与其指向的方向链接。 当显式性设置为“显式”时，我们选择将目标与机器人的相应轮子（前轮，右轮和左轮）与可视红色链接（见图6e）。当设置为“隐式”时，不 显示红色字符串。 即使这个额外的内容可能会过度充电用户的视野，我们假设它将有助于将目标与命令无缝关联。
  
  图6：SSVEP设计空间的5个维度图示了目标布局和显示策略。 每一对数字代表1维的2种形态：（6a）包含目标的平面的方向，（6b）目标坐标的参照系，（6c）目标的锚地及其位置，（ 6d）目标的大小可以是绝对的或自适应的，以及（6e）关联目标/命令的显式性。

每个2个模态的这5个维度的组合（见图6）意味着我们的设计空间可能有32（25）种可能的显示策略。 在下一节中，我们通过2个用户研究提出这些显示策略的定性和定量评估。 在第一部分（第4.2节）中，我们研究了用户如何主观地感知和偏好不同的策略。 在第二个用户研究（第4.3节）中，我们根据其BCI表现定量评估排名最高的（每组）。

4.2 用户研究3：目标显示策略的主观偏好

我们进行了一项用户研究，以根据他们相对于任务的主观直觉性和一致性来评估不同的显示策略。 我们的目标是在考虑机器人控制的情况下确定用户认为最容易理解的命令布局。

4.2.1 实验方案

我们录制了32个视频镜头，每个24秒，对应于所有可能的显示策略（阅读器可以参考随附的视频）。所有32个视频显示相同的虚拟移动机器人以不同的显示策略执行相同的路径。除了从4个可能的角度（从左到右，从右到左，从后到前和从左到右）显示机器人之外，该路径的设计使其具有相同数量（4）的命令出现（向右转，向左转，向前移动）。每个策略都是从前到后。因此，与其他配置相比，没有特定配置被过度表示，这可能会对结果产生偏差。每次向机器人发出timea命令时，相应的目标在执行命令之前和执行期间变为绿色，以突出显示命令与目标之间的关联。
由42名参与者填写的在线和匿名调查问卷，通过要求参与者评估7点李克特量表中每个视频的“目标与命令之间的关联是如何连贯/直观”来比较不同的显示策略（拒绝，差，可接受，满意，良好，非常好和优秀）。 32个视频以完全随机的顺序显示给每个参与者，以便最小化排序效果。

战略的最终排名是在多数判断程序之后进行的[27]。这个方法包括3个步骤。首先，定义一个项目的多数等级（显示策略）：它对应于归于此项目的中等等级选民。其次，多数等级应该由+或符号完成取决于是否有更多的选民分别将更高或更低的等级归因于此项目。最后，多数排名可以根据他们的多数等级来安排项目。为了执行这种多数排名，应计算每个项目的大多数。该指标由三个值（p，a，q）组成，其中a是主要等级，p / q分别是高于/低于多数等级的等级的百分比。
视频根据每个维度的二进制值从0到31命名：N = O * 24 + F * 23 + A * 22 + S * 21 + E * 20与O，F，A，S，E（站立）分别为Orientation，Frame-of-Reference，Anchor，Size和Explicitness维度。这个符号使我们能够解释评估后得到的聚类。

4.2.2 结果和讨论

表1显示了32个视频和显示策略中每个视频的多数判断结果。作为这种排名方法的结果，我们可以根据2维的值（“方向”和“参考框架”）将视频分成4组（参见图1）。具有以外部为中心的参考框架和横向方向的视频组都具有“良好”的多数等级评估（视频从25到32）。具有正面方向和以外部为中心的参照系的群体具有“满意”的多数判断，而另外两个群体具有“差”或“可接受的”优势多数等级评价。
总之，我们的结果表明了关于用户的主观偏好的强烈趋势。简而言之，我们发现参与者更喜欢横向方向，这意味着目标应与机器人的运动保持在同一平面上，即水平面。更重要的是，当目标坐标的参照系被设置为机器人（以外部为中心）时，用户强烈倾向于使用。我们假设这两种配置（横向方向和外向中心参照系）最小化了将命令与方向映射所需的心理旋转。然而，用户的最高主观偏好并不能保证SSVEP检测的最佳客观性能。因此，在下一节中，我们将介绍另一项用户研究，旨在研究UI和显示策略对BCI性能的影响。

4.3 用户研究4：目标显示策略对BCI绩效的影响

为了定量评估目标显示策略对分类性能的影响，我们进行了一项用户研究，其中我们保留了之前获得的4组策略中的每一组中最佳排名和最具代表性的显示策略（DS）（在4.2节中）。 2）。我们从每个组中选择了最佳策略，前提是每两个策略之间至少有两个维度不同。该方法导致DSO，DS15，DS22和DS29策略的选择对应于：

• DSO ：(“面向前方”，“以自我为中心”，“用户 -锚定“，”自适应大小“和”隐式“）显示策略（见图7a）
• DS15 ：(“正面为本”，“外切为中心”，“机器人 -锚定“，”绝对大小的“和”显式“）显示策略（见图7b）
• DS22：(“横向为本”，“自我为中心”，“机器人 - 锚定“，”绝对大小的“和”隐式“）显示策略（见图7c）
• DS29 ：(“横向导向”，“以外部为中心”，“机器人锚定”，“自适应大小”和“显式”）显示策略（见图7d）

这里将DSO视为控制条件，因为该显示策略类似于标准SSVEP训练阶段，并且已知最大化SSVEP响应[26]。

4.3.1 设备和参与者

我们实现了一个具有高亮路径的增强现实游乐场，虚拟机器人必须穿过该游乐场，如图8所示。该路径的设计使得所有三个命令方向的使用时间相同。
虚拟游乐场及其所有组件（路径，机械手和命令目标）都显示在Microsoft HoloLens上。 EEG耳机与第3节中描述的相同.24名参与者（年龄28.1±8.1,4名女性）参加了该实验。

4.3.2 实验方案

在他们签署知情同意书并获得所有相关信息后，参与者配备了EEG和AR耳机。该实验由两部分组成：（1）训练采集​​阶段，持续7分钟，用于收集数据以训练分类器;（2）评估阶段，用于比较4种显示策略的术语BCI表现。
训练阶段包括30次独特的试验（SSVEP选择）。目标是10厘米宽的圆形，排列在距离使用者2米距离的46厘米侧的等边三角形中。它们以10,12和15 Hz的频率闪烁。试验结构与图2中描述的相同。
在训练阶段之后，评估阶段包括4个18分钟（4分钟）。每次运行都使用一种选定的显示策略，并包含9次试验的往返。每个试验包括关注指定的命令目标7秒，然后是4秒的反馈（识别的目标），在此期间，机器人执行给定的动作。为了最大限度地提高参与者之间的一致性，他们只在机器人不动时进行选择。此外，机器人始终执行正确的移动，反馈是假的。参与者被告知机器人将始终遵循正确的路径，但他们没有被告知反馈的假方面。因此，为了保持高水平的参与度，他们的目标是最大化正确检测的数量。为了避免任何会影响结果的顺序效应，运行的顺序在参与者之间得到平衡（24个参与者的24种可能安排）。

图7：用户研究中使用的4种显示策略的图示4. DSO（a），DS15（b），DS22（c），DS29（d）。

图8：虚拟游乐场和要注意的突出路径。

表1：用户研究3的结果（N = 42）。 多数等级对应于中位数，这意味着至少50％的参与者至少评估了策略的大多数等级。 根据占主导地位的多数等级，出现四组，对应于方位和参考框架维度的4种可能组合：差，满意，可接受和[1-8]，[9,16]，[17- [24]和[24-32]分别为（O：Orientation，FoR：参照系，A：Anchorage，S：Size，Exp：Explicitness，T：Transversal，F：Frontal，Ex：Exo-centered，Eg ：以自我为中心，R：机器人，U：用户，E：明确，我：隐含。）。 列O和FoR的颜色编码是指由2个变量的组合定义的4个组。

4.3.3 结果与讨论

根据文献[26]的结果，我们的假设是参与者在DSO条件下表现最佳，因为它优化了目标的大小和它们之间的距离。为了比较SSVEP识别在所有条件（DSO，DS15，DS22和DS29）之间的性能，我们使用在训练阶段收集的数据来训练每个参与者的CSP过滤器和LDA分类器。每7秒试验被细分为500毫秒的时期，重叠为400毫秒。每个时代都被分类，并且所有时期的多数投票决定了公认的阶级。
我们的分析考虑了整个运行中正确响应的百分比（参见图9）。我们从3名参与者中删除了数据，因为他们的结果低于人口水平，其中人口不到20％，这一观察结果与关于BCI文盲的文献一致[28]。由于正确响应的百分比不遵循正态分布，我们进行了弗里曼测试，其近似为具有3个自由度的x2检验（4次运行-1）。 Friedman检验显示显示策略的显着效果[x2（3）= 12.23; p <0.01]。
在使用Wilcoxon符号秩检验进行成对比较后，根据条件对结果的影响，我们观察到DS0和DS15 [p <0.05]之间以及DSO和DS22之间的显着差异[p <0.05]，但在DSO和DS29。此外，对于所有评估的显示策略，参与者的平均结果高于机会水平（45％[25]）。

图9：用户研究4的结果：表示分类精度的箱线图，以％，（N = 21）作为显示策略的函数。

图10：我们使用的最终原型的插图。（顶部）用户配备EEG，坐着并面向真实移动机器人的设置概述。（底部）第一人称视角，从HoloLens使用显示策略DSO看到。 虚线表示机器人在测试期间移动的路径。

该实验的主要结果是在用户研究3中参与者（DS29）优选的目标显示策略在BCI性能方面也表现得非常好，类似于控制和最佳显示策略DS0。我们假设，由于DSO和DS29之间唯一的共同维度是目标的大小，DS15和DS22的性能损失可能是由于这两个条件下的较小尺寸目标，这也与文献[26]一致[26] ]。
在这个实验中，测试了两个方面。首先，对参与者偏好的调查问卷的分析证实了在之前的实验中发现了什么：条件DS29是最优选的。其次，SSVEP分类准确度的定量评估表明，最优选的显示策略（DS29）并未明显差于对照策略（DS0）。总之，我们的结果证实了建议在与机器人（水平）相同的计划中显示目标以及以外部为中心的参照系，因为这是用户首选并且提供与更经典的相同水平的性能展示策略。

5 最终原型

我们的方法的最后一步包括开发最终原型，以便在一个独特的设置中说明和整合我们的结果。应用程序是通过使用基于BCI和SSVEP的命令控制AR中的移动机器人。我们在这里考虑 使用真正的移动机器人。

图11：原型架构：通过EEG测量脑活动，并在运行OpenvViBE软件的计算机上进行分析。分类结果通过VRPN发送到HoloLens进行反馈显示，并运行到运行Visp软件的计算机上，用于控制机器人。 将类转换为Visp命令，使机器人沿所需方向移动。在Pioneer 3-DX机器人上放置一个基准标记，以便在使用Vuforia检测到HoloLens时出现闪烁目标。

我们的最终原型的一般架构如图11所示。我们的系统包括几个硬件元素和软件库。除了g。 tec EEG帽记录大脑活动，我们使用了相同的Microsoft HoloLens耳机。使用的机器人是一台Pioneer 3-DX，由另一台计算机通过运行基于Visp的应用程序的应用程序控制。硬件设置如图10所示.EEG数据使用OpenViBE在线分析，OpenViBE与Visp [29]应用程序和运行在HoloLensthrough VRPN（虚拟现实外围网络）[30]消息中的AR应用程序进行通信。使用Vuforia AR跟踪库完成机器人上的基准标记，与Hololens的通用Windows平台兼容。
使用相同的三个方向命令控制机器人：（1）向前以0.2米/秒的速度前进，（2）向右使其向右旋转15度/秒和（3）向左向左旋转15度/秒。这些命令包含三个SSVEP目标。当放置在机器人顶部的基准标记位于用户的视野中时，这些目标被激活并显示。专注于其中一个目标触发了其相关命令。如果用户没有关注任何目标机器人停止（见图10）。原型机器人的控制是连续的。因此，用户能够在操纵机器人的同时执行头部运动。可以使用上一节的设计空间中提供的任何显示策略来完成目标的布局。在我们的测试期间，我们使用了DS0。
我们用真实的机器人进行了非正式测试。地面上设置了4个标记，参与者必须通过每个标记移动机器人。根据DSO显示策略显示目标。非正式测试表明，考虑到SSVEP识别的延迟（~7s），参与者能够沿着定义的路径合理地控制机器人（参见随附的视频）。

6 讨论

将脑机接口与增强现实相结合，引发了许多科学和技术挑战。它提出了有效交互范式设计的理论问题，但它也涉及可行性研究，特别是这两种复杂技术的兼容性。此外，AR-BCI系统的设计也与所选择的BCI范例和设计的UI密切相关。在SSVEP的情况下，它涉及以全面的方式放置闪烁目标。该设计还涉及最终任务/应用程序，例如可能的命令数量。设计AR-BCI应用通常需要：（1）测试硬件兼容性，具体取决于EEG帽，AR设备和开发的皮层区域，（2）在实际条件下测试性能（光线，运动等），（3）设计与最终应用相关的所有BCI组件（命令语义，激励和反馈）相关的用户界面，以及（4）验证用户界面对BCI任务性能的影响。
我们的论文已经绘制并遵循了这一研究方向。特别是，我们的实验旨在研究（1）是否可以将双目OST-HMD与BCI结合起来而SSVEP识别中没有任何显着的性能下降，以及（2）是否可以容忍头部运动并因此选择移动AR中的目标。我们的研究结果表明，HMD的佩戴，电活动和小的头部运动都没有显着破坏BCI识别的准确性。因此，理论上允许我们使用SSVEP来设计AR中的用户界面。这些研究还为我们的应用程序提供了特定的指导，因为我们确保设置机器人速度，以便始终保持用户所需的运动。低于对应于40°幅度的最大移动强度。

在第二次，我们提出了一个涉及5个维度的设计空间：（1）方向，（2）参考框架，（3）锚固，（4）尺寸和（5）显性。定性评估（用户）研究3）32种可能的组合（显示策略）为我们提供了关于用户如何通常感知将空间显示的目标与命令相关联的语义的指南。最值得注意的是，设置到机器人的框架（以外部为中心）有助于他们更好地了解哪个目标对应于哪个方向。这可以通过它们在不在同一参照系中时映射目标和方向（由车轮表示）所需的空间旋转任务来解释。类似地，目标平面的横向取向优于正面平面。这可以通过控制移动机器人的2D任务来解释。换句话说，当目标与机器人运动处于同一平面时，参与者可以更容易地与目标相关联。另一方面，使用四个代表性和良好排名的显示策略的SSVEP识别性能的验证研究（用户研究4）证实了UI对SSVEP识别性能的影响，特别是关于目标的大小。这些结果证明了平衡UI的直观性和BCI命令识别性能的重要性。因此，任何组合BCI和AR的应用都应考虑这两个参数之间的权衡。

我们不同研究的结果激发了原型的开发，该原型说明了BCI和AR的组合使用，通过AR中的SSVEP接口引导移动机器人。我们的原型功能正常，并允许我们测试我们的32种显示策略中的一些来控制 虚拟或真实移动机器人。

我们的方法提供了很多关于如何设计基于BCl的AR系统的见解，它还提出了在广泛使用这些系统之前要解决的众多挑战。首先，未来的工作应该集中在开发有效的信号过滤方法和伪影去除程序，以便在使用BCI时允许更宽和更快的移动，从而允许选择更快的移动目标。此外，我们在本文中的目标是尽可能详尽地描述2D移动对象控制的目标集成设计空间。在未来的工作中，将目标集成到控制3D移动物体（例如飞行无人机）或多功能设备的问题将是有趣且重要的，以使基于AR-BCI的交互在其他应用案例中有用。
未来的研究还可以探索其他BCI范例和其他应用领域，以便在增强现实环境中进行交互。在其他人之间，运动图像[31]和隐蔽注意[32]，可以从未来OST-HMD屏幕的广泛性中受益，并构成有趣的路径。基于运动成像的BCI通常用于控制智能轮椅并使严重受损的患者能够重新获得自主权。似乎很有希望将这种辅助技术与AR系统结合起来，以增强环境并提供新的免提交互可能性。
尽管如此，为了使基于BCI的AR系统可用，仅仅改进系统的硬件和软件组件是不够的。还应该考虑用户，尤其是他们的训练。因此，调查用户体验，例如通过开发新的反馈模式以保持用户参与并帮助他们调节他们在AR中的大脑活动，似乎是必要的，并且评估用户感觉沉浸和控制的程度。与BCI / OST-HMD系统交互时。在此范围内，将OST-HMD和BCI与其他交互技术的组合在用户体验和系统性能方面进行比较将会很有趣。

7 结论

在本文中，我们研究了脑 - 计算机接口和增强现实的组合。我们专注于一个BCI类别（基于SSVEP脑模式的BCI），一个AR类别（光学通过AR系统）和一个任务（移动机器人控制）。
首先，我们测试了结合AR和BCI技术的可行性，并在两项用户研究中评估了外部和内部噪声对BCI准确性的影响。我们首先发现使用AR耳机并没有显着损害BCI性能并且没有破坏EEG分类的准确性。因此，似乎可以在EEG上限使用带有AR耳机的EEG数据。其次，我们发现在小头部运动的情况下可以使用基于SSVEP的BCI。
第三，我们在基于AR-SSVEP的应用中提出了扩展的目标集成设计空间。显示策略依赖于五个维度：方向，参照系，锚定，大小和显性。第二个用户研究由42个参与者进行，能够识别和排列32个显示策略中最直观/最连贯的。这项研究特别表明，当目标布局的参考框架设置在机器人（而不是用户）上以及目标平面是遍历（而不是正面）时，全球参与者都是首选。与2D机器人运动平行。我们还定量研究了显示策略对BCI性能的影响。对24名参与者进行的第四次用户研究表明，目标的布局对BCI性能有影响。这表明必须平衡显示策略和任务性能的直观性。
最后，本文阐述了在AR中基于BCI的移动机器人控制的完整和可操作原型的开发。我们的最终设置使得以免提方式引导真实机器人成为可能，为涉及残疾人的更现实场景打开视角。
总的来说，我们已经提出并测试了一种可扩展的方法来指导基于AR中BCI的UI设计。我们相信这种方法可以在其他环境中进行调整和重用（例如，其他BCI类别，其他AR / VR类别，其他任务），并且可以定位未来对增强和虚拟现实中基于BCI的交互的研究。