重磅！脑机接口突破登Nature封面，脑中“笔迹”转屏幕文字破纪录，准确率超99%...

来源： 物联网之家

研究团队将人工智能软件与一款脑机接口设备结合起来，与一名大脑中植入脑机接口设备的瘫痪患者合作，让该患者想象他拿着一支笔，在一张横线纸上“尝试”写字，就像他的手没有瘫痪一样。并将该男子手写意图快速转换为电脑屏幕上的文本。“这种脑机接口是为那些患有‘闭锁综合征’（Locked-in Syndrome）的人设计的，这些人群几乎所有的随意肌都瘫痪，无法说话或交流。”该项研究的通讯作者同时也是第一作者的Francis R. Willett博士表示，“想象一下,如果你只能上下移动你的眼睛却动弹不得，这样的设备可以让输入你想法的速度与正常的手写或在智能手机上打字相媲美。”

Willett是斯坦福大学神经修复转化实验室的研究科学家，由霍华德·休斯医学研究所任命。他的研究工作主要围绕改善脑机接口、理解大脑是如何表现和控制运动的。除Willett之外，该项研究主要由斯坦福大学神经外科医生Henderson，斯坦福大学霍华德·休斯医学研究所研究员Krishna Shenoy共同指导，Willett即是Shenoy团队中的一员。Shenoy和Henderson则从2005年就开始合作脑机接口研究。

 

《自然》还同期刊发了华盛顿大学Pavithra Rajeswaran、Amy Orsborn两位研究人员对该项研究的观点文章。“尽管还有很多工作要做， Willett及其同事的这项研究是一个里程碑，拓宽了侵入式脑机接口应用的视野。”他们评价道，这项研究中的方法“使允许快速交流的神经接口更接近现实。”

▍找到让人们交流更快的新方法

这项研究中使用的脑机接口仅用于研究，尚未批准用于商业用途。斯坦福大学技术许可办公室已经申请了与Willett、Henderson和Shenoy的工作有关的知识产权专利。

研究人员第一次破解了关于字母书写的神经信号，使这些字母可以实时显示出来。(01:40)“找到让人们交流更快的新方法”.

 

这项研究开发的脑机接口对无法正常说话的人群有多重要？“如果是脑机接口，Jean-Dominique Bauby可能每分钟能写18个单词。”Willett对记者如是表示。

 

实际上，因不同原因导致行动或说话能力丧失的人对脑机接口的需求不一。失去手功能的人仍然可以使用带有语音识别和其他软件的设备，而对于那些说话有困难的人，科学家们则一直在开发其他方式来帮助人们交流。

 

目前商用的辅助打字设备主要依赖于使用者能够进行眼球运动或发出语音命令。例如，眼球追踪键盘可以让瘫痪者每分钟输入约47.5个字符，比没有损伤的人每分钟输入115个字符的速度要慢。然而，这些技术不适用于瘫痪同时损害了眼球运动或发声的人。

 

而到目前为止，用于打字输入的脑机接口还无法与眼球追踪器等更简单的辅助技术竞争。Rajeswaran等人在观点文章中指出，原因之一是打字是一项复杂的任务，在英语中，我们就需要从26个字母中选择。根据用户的神经活动来预测他们想选择哪个字母，以此构建一个分类算法，这也是一项具有挑战性的工作。

 

目前最成功的侵入式脑机接口也是Shenoy团队于2017年在eLife杂志发表的一项研究。在那项研究中，包括T5（此项最新研究中的参与者）在内的三个肢体瘫痪的参与者，都在运动皮层植入了脑机接口，他们被要求全神贯注将光标从电脑屏幕上的一个键移动到另一个键，然后集中精力点击那个键。

 

在那项研究中，T5创造了迄今为止的最高记录：以每分钟40个字符的速度抄写显示出来的句子。但这些侵入式脑机接口，和非侵入性的眼球追踪器一样，占用了用户的视觉注意力，并且不能提供明显更快的输入速度。

 

如果说2017年研究的模式类似于打字，那么此次这项新研究则类似于手写，而此前没人想过直接手写。Willett想知道，是否有可能利用书写时引发的大脑信号，“我们想找到让人们交流更快的新方法。”研究团队因此与T5继续合作。T5当时65岁，其在2007年因为脊髓损伤瘫痪，几乎丧失了颈部以下的所有活动能力。

▍“脑转文”脑机接口

Willett等人的新方法需要一种分类算法，能够预测瘫痪用户试图书写的26个字母或5个标点符号，这是具有挑战性的技术，因为科学家们无法观察到这些意图。

 

为克服这一挑战，Willett等人基于一种最初为语音识别开发的机器学习算法，重新设计了另一种算法。这使得他们能够仅根据神经活动来估计参与者何时开始尝试书写一个字符。根据这些信息，研究团队生成了一个带有标签的数据集，其中包含每个字符对应的神经活动模式。他们用这个数据集来训练分类算法。

 

“当我们第一次开始探索手写脑机接口的概念时，我们不知道在瘫痪多年后，尝试的手写动作是否仍能唤起强烈和可重复的神经活动模式。”

 

Willett表示，“令人兴奋的是，当我们要求参与者来手写不同的字母时,尽管他的手已经瘫痪十多年,我们仍然可以看到明显的神经活动模式，甚至足以重现他想象中的那支笔的动作，并展现出他想写的字母。”

研究参与者想象书写一个字母或符号时，他脑中的传感器可以感知到电活动的模式并转化为书写痕迹。(00:12)为了实现准确的分类，Willett等人的分类算法还使用了现有的机器学习方法，以及一种叫做递归神经网络(RNN)的人工神经网络，这种神经网络特别擅长预测顺序数据。Rajeswaran等人在观点文章中提到，利用RNN的能力前提是需要大量的训练数据，但这些数据在神经接口中是有限的，因为很少有用户愿意想象连续写作数小时。

 

研究团队则用一种被称为数据增强的方法解决了该问题。在这种方法中，参与者先前产生的神经活动模式被用来产生句子，在这些句子上训练RNN。他们还通过在神经活动模式中引入人为的变化来扩展他们的训练数据，以模仿人类大脑中自然发生的变化。

在这项研究中，T5同样需要集中精力，试图用一支假想的笔在假想的本子上写出单个字母。他把每个字母重复10次，让软件“学习”识别与他尝试写那个特定字母相关的神经信号。在接下来数小时的测试中，T5被展示了几组句子，并被要求在心里尝试“手写”每一个句子，没有使用大写字母。这些句子比如，“i interrupted, unable to keep silent,”和“within thirty seconds the army hadlanded.”。

 

随着时间的推移，这些算法提高了它们区分代表不同字母或符号的神经放电模式的能力。算法对T5意图写的任何字母的解读在大约半秒的延迟后出现在电脑屏幕上。

 

T5还被要求复制算法从未接触过的句子。他最终能够每分钟生成90个字符，大约18个单词。之后，他被要求回答开放性的问题(需要一些停顿来思考)，他每分钟写了73.8个字符（平均接近15个单词），是2017年研究中自由书写记录速度的三倍。

 

Willett等人的算法提供了令人印象深刻的准确分类。复制错误率大约是每18或19个字符中有一个错误；自由书写错误率约为每11或12个字符中有一个。当研究人员通过包括预测语言模型(类似于智能手机上的自动纠错功能)后，错误率明显较低：复制的错误率低于1%，自由书写的错误率略高于2%。

 

“与其他脑机接口相比，这些错误率相当低。”Shenoy说。

 

两个微小的植入电极矩阵可以将控制手和手臂的脑区信息转化为算法，再翻译成屏幕上的字母。(00:10)

 

▍何时转化为真正的产品？

 

值得注意的是，此次研究中，Willett等人得出另一重要结论。Willett对记者表示，“这款脑机接口的速度比之前更快，这是由像书写不同的字母这样的复杂运动唤起的神经活动模式，更容易区分。我们发现，要求参与者手写不同的字母，在他的大脑中唤起了非常独特的神经活动模式。”

 

Willett等人认为，这使得他们能够在更快的速度下同时达到比以前更高的准确性。

“当你只能记录传感器采集到的少量神经元时(与运动脑区的数百万神经元相比)，有非常不同的神经模式是有帮助的，意外混淆它们的几率就会很低。这就是为什么复杂的运动，比如写不同的字母，可能更容易解码，复杂性使它们更独特，彼此不同。”Willett进一步解释道，相比之下，之前最先进的打字方式，“沿着直线移动到不同的键上，会唤起非常相似的神经活动模式，因为所涉及的只是一个有着不同角度或不同距离的直线运动。”

 

这也意味着，也许与我们直觉的认为相反，解码复杂的行为比简单的行为更有利，特别是在分类任务中。这些信息对未来的脑机接口研究将有重要的借鉴意义。

当然，这项研究也并非完美。在投入大规模临床应用前，仍需进一步验证该技术的使用寿命、安全性和效果。Rajeswaran等人在观点文章中即写道，该技术“需要拥有极佳的效果和使用益处，才能证明在患者脑部植入电极所产生的费用和风险是值得的。”

 

输入速度并不是决定是否采用该技术的唯一因素。Rajeswaran等人认为，要使该设备能在整个生命周期内保持性能，比如遇到神经活动模式改变时表现如何，这可能还需要进一步的研究。继续研究以测试该方法是否能推广到其他用户和实验室之外的设置，这也将是至关重要的。

Rajeswaran等人还关注到另一个问题，即该方法将如何扩展并转化为其他语言？Willett等人的研究也表明，有几个字符写起来会类似，比如r、v和u，因此比其他字符更难分类。“我们中的一个人(Rajeswaran)说泰米尔语，泰米尔语有247个字母，通常是密切相关的，所以可能很难分类。”他们在文章中写道。

 

Willett则对记者表示，要将这项技术转化为真正的产品，就需要简化它，用户应该不需要花费太多时间来培训它就能够使用这款脑机接口。此外，它应该足够智能，能够自动跟踪神经活动的实时变化，这样用户就不必每天停下来重新训练系统。最后，微电极装置应是无线且完全植入。

 

“这是一个公司创造一个真实世界的产品必须要完成的工作。”他表示，在这项研究中，他们只是进行了一个概念验证的演示，“手写脑机接口是一个令人兴奋和潜在的可行方法，使得我们可以恢复与严重瘫痪的人的交流。”

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”