“用思维代替双手”成为可能！NextMind首次实现实时脑机交互

看点：实时脑机交互第一次落地！玩VR游戏完全不用双手是怎样的体验？

智东西1月6日消息，据外媒Venturebeat报道，NextMind正在开发一种脑机接口（brain-computer interface）设备，可将大脑视觉皮层的信号转换为机器可以读取的数字指令。 借此，我们就可以通过大脑发出的视觉信号来控制计算机、AR/VR眼镜等设备。 NextMind将在本月推出面向开发者和合作伙伴的开发套件，售价399美元。
现在依靠机器学习算法来构建无创（不在皮肤表面造成创口）神经接口已经成为了许多初创公司的努力方向。 2019年9月被Facebook收购的Ctrl-labs就在开发一种肌电腕带（electromyography wristband），可将肌肉神经信号转换为机器可读指令。 NextMind目前正在开发的无创设备，是一种脑电图（EEG）读取分析装置，戴在人脑后部视觉皮层所在的部位。 NextMind在CES 2020上获得了“VR / AR最佳创新奖”和“可穿戴技术荣誉奖（Honoree in wearable technologies）”。 该公司目前由15名成员组成，涉及软件、机器学习、硬件和游戏开发。 NextMind CEO Sid Kouider说，“我们专注于大脑皮层，通过无创方式解码大脑视觉皮层中的神经活动，我们希望可以直接通过大脑来实现实时交互。 ”

不仅是“看到的”，更是“想到的”

当用户专注于观察某项事物时，这项事物的对应信号就会反馈在大脑的视觉皮层，体现为脑电图的独特波动。 大脑的视觉皮层不仅会接收眼睛输入的信息，同时也会放大这些神经信号。 Kouider说，“我们对大脑的运作方式特别是视觉意识、知觉和注意力的运作方式有很好的理解，这也是我们能够发明这种被称为“数字神经同步”的新方法的原因。 我们不解码视觉意图本身，而是解码视觉意图的输出。 ” Kouider继续说道，“当用户环顾四周并聚焦于某个对象时，有关这个对象的神经信号就会放大，我们就会知道用户想移动或激活这个物体。 物体和大脑之间是存在神经共鸣的，注意力越集中，共鸣就越强，机器学习解码的程度就会越高。 最终，我们就可以确认用户是要移动那个东西。 ” 这也是为什么NextMind的设备有别于眼动仪（eye tracker）。 眼动仪无法感知用户意图的。 Kouider举了一个简单的例子，他在自己面前举起一个杯子，并注视坐在自己前面的人。 此时，眼动仪无法判断Kouider是在看着人还是杯子。 但是，NextMind设备就可以，它不仅知道你看到了什么，还能知道你想看的是什么。 目前，解码视觉意图输出只是第一步，第二条并行的轨道是解码视觉想象力（visual imagination），这样即使用户闭着眼睛，设备一样可以知道用户在想什么，也就是可以读出脑海中的画面。 Kouider说“大脑视觉皮层既是外部世界信息输入的区域，又是记忆、想象力的输出区域。 视觉皮层中提供视觉意识的神经元就是用来处理外界信息的神经元。 ”解码视觉意图和解码视觉想象力这两条轨道将在同一硬件上一起应用。 不同的软件和算法将针对性的处理不同的任务。 介于视觉信息和视觉想象这两个极端之间的就是视觉注意力。 人们对视觉注意力的控制是自上而下的（top-down），它受前额叶皮层等其他大脑区域的控制。 视觉注意力的集中会增强一些特定的神经元，这就是NextMind所要解读的东西。

仅重约60克，具有8个电极

在2017年9月创立NextMind之前，Kouider是认知神经科学教授，曾在《科学》和《自然》上发表过有关视觉意识和大脑的论文。 他的工作主要针对无法说出或无法表达自己思想的人群。 在积累了许多无创解码神经信号的专业知识后，Kouider希望开发一种真正可以实时交互的产品。 NextMind的目标是做从视觉皮层实时地解码视觉意识，进行脑机交互。 Kouider希望让这个技术广泛的普及，让用户可以借此与任何显示器进行脑机交互。 NextMind的设备重约60克，具有8个电极，用于测量大脑活动。 8个是保证数据不丢失情况下的最小电极数目。 另外，真正实现突破的是NextMind可以让电极本身获取更多的神经数据，从而提高机器学习的效果。 他们使用了新的高灵敏度材料，使其设备的SNR（信噪比）比临床脑电图提高了约4倍。 并且电极的形状很像梳子，可以穿过头发触达头皮以获得良好的信号。 在第一次使用时，NextMind的设备首先要对用户的大脑进行初步了解。 它会通过一次校准和软件训练来建立用户的神经特征模型。 过程包括用户需要将注意力集中在一些会出现在屏幕上不同位置的绿色三角形图案。 整个过程只需要几分钟，用户需要保持沉默以获得一个更加准确的模型。

看电视玩游戏时解放双手

Demo 1：脑机交互演示——控制电视

用户可以通过将注意力聚焦于电视屏幕上各个区域的绿色三角形来控制电视。比如更改频道、播放或暂停内容、静音或取消静音。

Demo 2：脑机交互演示——打鸭子游戏

用户可以通过聚焦于屏幕上移动的鸭子图像来玩“打鸭子”游戏。

Demo 3：脑机交互演示——VR游戏

NextMind的设备可以与Oculus VR头显相结合，用户可以不用双手与画面内容进行互动，玩VR游戏。

Kouider说，“视觉皮层包含有关形状、方向、边界、颜色和运动各类信息。”

目前这些测试需要依靠特定的形状和颜色，但Kouider表示，很快NextMind的设备就将摆脱对于颜色的依赖，可以解码任意形状，甚至不需要具体图案。 “我们改进了硬件，我们改进了机器学习算法。 这些都可以提高设备对于视觉神经信息的认知。 ” “目前硬件是最主要的限制。 但这不仅是我们的问题，也涉及到任何需要成像问题。 虽然核磁共振（MRI）的图像分辨率很高，但我们肯定没法用它。 就像任何机器学习创业公司都面临的问题一样，数据量限制了可以走多远。 ”

应用场景的探索

到目前为止，NextMind的研究成果还停留在演示阶段，他们也在努力寻找非常高价值的应用场景。 因此，公司目前准备推出开发套件。 第一，他们希望借此获得更多数据以改善其机器学习算法； 第二，他们也希望借此探索更多的使用场景。 Kouider提到，NextMind引起了自动驾驶汽车制造商的兴趣。 他们设想将电极直接放在汽车座椅上，车辆可能不再需要方向盘，乘客可以躺在座椅上并控制汽车，同时也不需要佩戴任何设备。

Kouider表示，“如果使用较小的版本，将NextMind的设备后置在AR头显设备的头带上，它将成为一个很好的潜在应用场景。用户可以将其与手势配合使用，还可以将其与眼动追踪配合使用。”

Kouider提到的另一个应用场景是神经监测。 比如飞机出现了故障，警报响起，但飞行员没有注意到也没有做任何反馈，NextMind的设备就可以检测到这一情况，并据此调整警报，让它更加明显。 “但是对我们而言，重要的是进行控制，而不是监视，为此我们也在不断优化算法让它更快。 ” “我们最主要的成就是第一次实现了实时的大脑互动，” Kouider说。 “不过用不了三四年，我就可以闭上眼睛思考一下我的妻子和孩子，他们的照片就会显示在屏幕上，这样的场景已经不远了。 从理论上这行得通，只是需要对神经信号更进一步的处理。 虽然我们知道大脑运行的原理，但是一旦涉及到要实时处理，就会变得非常棘手。 ”

结语：脑机接口已进入应用场景探索阶段

NextMind此次推出的脑机接口设备，不仅让“用思维实现控制”这一概念落地为具体产品，更让我们看到了许多具有很高潜力的应用场景。 此次开发套件的发布也为开发者和制造商们提供了一个共同探索的机会。 不过我们也可以看到，当前的脑机交互功能还比较初级，硬件性能和软件算法都有一定的提升空间。 人脑神经的相关研究因机器学习技术的发展得到了显著加速，脑机接口也进入了应用场景的探索阶段。 NextMind的展示，让我们看到了从前几乎“不敢想象”的画面，科幻电影里的场景离我们似乎也不再那么遥远。 文章来源： Venturebeat

（本账号系网易新闻·网易号“各有态度”签约帐号）

---

全球AIoT产业创新峰会

---