BrainNet：用于人与人之间直接协作的多人脑对脑接口

点击上面"脑机接口社区"关注我们

更多技术干货第一时间送达

 

华盛顿大学(Universityof Washington)和卡内基梅隆大学(CarnegieMellon University)等多家研究机构的研究团队提出了BrainNet，据研究人员表示他们是第一个提出了多人直接协作解决问题的非侵入性脑对脑接口。该接口结合了脑电图(EEG)来记录大脑信号和经颅磁刺激(TMS)来无创地向大脑传递信息。

该脑机接口允许三个受试者通过直接的脑对脑交流进行协作和解决任务。三个实验对象中的两个被指定为“发送者”，他们的大脑信号被实时EEG数据分析解码。解码过程提取出每个发送方是否在一个类似俄罗斯方块的游戏中旋转方块的决定，然后再把它放下填充一行。发送者的决定通过Internet传输到第三个被试者的大脑，也就是“接收者”，这个被试者看不见游戏屏幕。通过对枕叶皮层的磁刺激发送者的决定传递给接收者的大脑。接收器整合了来自两个发送者的信息，并使用脑电图接口来决定是旋转块还是将块保持在同一方向。第二轮游戏为发件人提供了额外的机会来评估发件人的决定并将反馈发送到发件人的大脑，并使发件人更正第一轮中可能做出的错误决定。本研究以组间表现、被试决策的真/假阳性率及被试之间的相互资讯来评估BrainNet的表现。五组，每组有三个人，成功地使用BrainNet完成了协作任务，平均准确率为81.25%。此外，通过人为地在一个发送者的信号中注入噪声来改变发送者的信息可靠性，我们研究了接收者如何学习整合噪声信号以做出正确的决策。研究者发现，像传统的社交网络一样，大脑网络让接收者学会信任发送者，在这种情况下，仅仅基于直接传递到他们大脑的信息。该项研究结果为未来的脑对脑接口指明了道路，这种接口使人类能够通过大脑连接的“社交网络”来协作解决问题。

BrainNet的体系结构

研究人员提出的BranNet体系结构如下图所示，从图中可以看到，两名参与者(“发送者1”和“发送者2”)各自使用基于EEG的脑机接口(BCI)，将有关协作任务(这是一个类似俄罗斯方块的游戏)的信息直接传递给第三名参与者(“接收者”)的大脑。

每个发送者的信息通过基于TMS的计算机-大脑接口(CBI)通过Internet传输到接收者的大脑。在有意识地处理来自发送方的两个输入后，接收方使用基于EEG的脑机接口来执行任务中的一个动作。发送方会在自己的屏幕上看到此操作的结果(两个屏幕上都显示了相同的更新后的游戏状态，从一个发送方的屏幕到另一个发送方的屏幕上的红色箭头所示)。然后，发送者有另一个机会向接收者的大脑传达新的信息，以便在第一轮中纠正错误的选择。虽然实验只使用了两轮，但是BrainNet允许发送者和接收者协作解决任务时进行任意数量的交互。BrainNet不同于之前被称为“Brainet”12的接口，后者结合了来自多个猴子大脑的记录来执行一个共同的运动任务，但它是单向的，并且不使用刺激来将信息传递回任何一个大脑。

实验中，研究人员设计了发送者和接收者使用的基于SSVEP的EEG脑机接口，如下图所示。

该脑机接口使用基于EEG的稳态视觉诱发电位(SSVEPs)，参与者通过控制光标(白色填充圆)来传达他们关于是否旋转当前块的决定。参与者将注意力集中在屏幕左侧的一个闪烁的LED上(如图1所示为屏幕上的一个圆圈)，以便将光标向左移动到“是”的位置。聚焦在屏幕右边的LED(以不同的频率闪烁)会导致光标向右移动到“否”的位置。如果光标到达绿色的“是”栏，接口将解释参与者的决定是旋转块(180度)。如果光标到达了“否”栏，接口会让参与者决定保持区块当前的方向。

试验

为了测量BrainNet的直接脑对脑沟通能力，研究人员让每个参与者进行了16次类似俄罗斯方块的迭代游戏的试验。在每次试验中，一名被指定为接收者的参与者负责决定是否在一块积木掉落到屏幕底部填补空白之前旋转它。关键的是，接收者不能看到屏幕的底部，必须依赖另外两个参与者(他们被指定为发送者) 的建议，他们可以看到屏幕的整个部分。这些发送者的任务是根据当前块的形状和底部的间隙做出正确的决定(旋转与否)，并通过脑对脑接口将决定通知接收者。所有成员通过使用稳态视觉诱发电位(SSVEPs) 通过基于EEG的界面传达其决策。接收方和发送方在两轮游戏中看到的屏幕示例如下图所示。

从上图中可以看到，接收方在左侧看到三个示例屏幕，发送方在右侧看到这些屏幕。(顶部行)试用开始时的屏幕。请注意，接收方看不到带有间隙的底线，但发送方会看到。接收方必须依靠发送方来决定是否必须旋转红色块以填补空白并清除线。(中间行)接收方在第一轮做出决定(在本例中为“Rotate”)之后，游戏状态将更新以显示旋转的方块。(底部行)在第二轮之后，所有参与者都将看到接收方的操作结果以及该行是否已清除。在此示例中，接收器执行了纠正操作以再次旋转块，从而用块的底部填充间隙并清除了线条。

BrainNet表现

研究者对参与者使用BrainNet的表现进行了可视化对比。

图中显示了参与者的准确性。精度定义为由三重轴实现的正确块旋转的比例。虚线显示了理论概率精度(0.5)。

研究人员对比了SSVEP任务中脑电图信号的平均功率谱，如下图所示。在一秒钟的时间内和在实验对象之间取平均值。图中显示了SSVEP任务期间(虚线之间)的平均功率值，并显示了任务前后三秒钟的功率值，以便进行比较。可以发现，在任务之前和之后，两个频率的功率值重叠，而在任务期间，正确答案对应的频率的功率明显更大。

在BrainNet参与者中，接收者和“好”发送者之间传递的相互信息明显高于接收者和“坏”发送者之间传递的信息，如下图。

研究人员还量化接收方对发送方可靠性学习。(下图左面板)对于每个4次试验块，接收者的决策向量和每种发送者类型的决策向量的线性回归权重(Beta)随时间的演化(详见文本)。(下图右面板)每种类型的接收者和发送者的决策之间的皮尔逊相关系数随时间的演变。

这两个图都显示“好”发送者的上升趋势，而“坏的”发送者则没有，这表明接收者在与这两个发送者进行脑对脑的交互过程中了解到哪个发送者更可靠。

 

结论

研究人员提出的方法可以让接收者如何学习整合噪声信号以做出正确的决策。研究者发现，像传统的社交网络一样，大脑网络让接收者学会信任发送者，在这种情况下，仅仅基于直接传递到他们大脑的信息。该

项研究结果为未来的脑对脑接口指明了道路，这种接口使人类能够通过大脑连接的“社交网络”来协作解决问题。

论文信息：

BrainNet: A Multi-Person Brainto- Brain Interface for Direct Collaboration Between Brains

文章来源于网络，仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言！

更多阅读

利用卷积神经网络对脑电图解码及可视化

如何快速找到脑机接口社区的历史文章？

第2期 | 国内脑机接口领域专家教授汇总(修改)

收藏 | 脑电EEG基础与处理汇总

你知道"淘宝意念购"吗？阿里巴巴也入局脑机接口领域了...，

使用时空-频率模式分析从脑电数据的一些试验中提取N400成分

未来50年的神经科学会是什么样呢？

脑机接口BCI学习交流QQ群：515148456

微信群请扫码添加，Rose拉你进群

(请务必填写备注，eg. 姓名+单位+专业/领域/行业)

长按加群

欢迎点个在看鼓励一下