Nature：AI新技术助力面部瘫痪患者思维交流

通过使用人工智能（AI）增强的脑机植入物，已经实现了两名瘫痪患者以前所未有的准确度和速度进行交流。

脑机接口将参与者的大脑信号转换为动画的语音和面部动作。来源：Noah Berger

在分别发表于8月23日的《Nature》（IF2022=64.8）杂志上，两个研究团队描述了将脑信号转化为文本或合成语音的脑机接口（BCI）。这些BCI分别以每分钟62个词和每分钟78个词的速度解码语言。尽管自然对话的速度约为每分钟160个词，但这些新技术都比先前的任何尝试都快。

加利福尼亚斯坦福大学的神经科学家Francis Willett在8月22日的新闻发布会上表示：“现在可以想象未来有可能让瘫痪患者恢复流畅的交流，使他们可以自由地说出他们想说的话，准确度足够高，可被可靠理解。”

荷兰马斯特里赫特大学的计算神经科学家Christian Herff表示，这些设备“可能在不久的将来成为产品”。

电极和算法

Willett及其同事开发了一种BCI，可以在细胞水平解释神经活动并将其转化为文本[1]。他们与一名患有运动神经元病的67岁患者Pat Bennett合作进行了研究，该疾病也被称为肌萎缩性脊髓侧索硬化症，这是一种逐渐失去肌肉控制能力的疾病，导致移动和说话困难。

瘫痪者使用他们的大脑活动控制假肢。来源：Petter/UPMC

首先，研究人员对Bennett进行了手术，在与语言相关的大脑区域下方几毫米处植入了一组小型硅电极。然后，当Bennett尝试使用125000个单词的大词汇表和50个单词的小词汇表说出各种短语时，他们训练了深度学习算法，以识别Bennett大脑中的独特信号。AI从音素中解码单词，音素是形成口语的语音亚单位。对于50个单词的词汇表，BCI的工作速度比早期的尖端BCI快2.7倍[3]，单词错误率为9.1%。对于125000个单词的词汇表，错误率上升到了23.8%。“大约四分之三的单词可被正确解码，” Willett在新闻发布会上说。

Bennett在给记者的一份声明中表示：“对于那些无法言语的人来说，这意味着他们可以与更大的世界保持联系，也许可以继续工作，维持朋友和家庭关系。”

阅读脑活动

在另一项研究[2]中，加州大学旧金山分校的神经外科医生Edward Chang及其同事与一名47岁女性Ann合作，Ann在18年前的脑干中风后失去了说话能力。

他们采用了与Willett团队不同的方法，将一个包含253个电极的薄矩形放在大脑皮层表面，以记录神经活动。这种技术称脑皮层电图（ECoG），被认为侵入性小，且可以同时记录数千个神经元的联合活动。该团队训练了AI算法，以识别与Ann尝试说出249个句子相关的大脑活动中的模式，使用1024个单词的词汇表。该设备最终每分钟产生78个单词，中位单词错误率为25.5% 。

尽管Willett团队使用的植入物可以更精确地捕捉神经活动，在较大词汇表上表现更好，但克雷诺布尔神经科学研究所的神经技术研究Blaise Yvert表示，“看到ECoG可以实现低错误率是好事”。

Chang及其团队还创建了定制算法，使用Ann婚礼录像中的录音进行训练，将Ann的脑信号转换为合成声音和模拟面部表情的动画化身。最终，他们创造出了个性化的声音，听起来像Ann在受伤前一样。

研究结束后的反馈会议上，Ann告诉研究人员：“听到与自己相似的声音，这一简单的事实就会让人情绪激动。当我能够为自己说话时，这对我来说意义巨大！”

Chang表示：“声音是我们身份的一个非常重要的部分。这不仅仅关乎沟通，也关乎我们是谁。”

临床应用

由大脑活动控制的外骨骼由一个健全的男孩进行测试。来源：160over90

在BCI应用于临床之前，需要进行许多改进。Ann告诉研究人员，“理想的情况应该是无线连接。”适用于日常使用的BCI必须是完全可植入的系统，没有可见的连接器或电缆，Yvert补充说。两个团队都希望通过更强大的解码算法继续提高其设备的速度和准确性。

Herff表示，两项研究的参与者在考虑说话时仍然能够运用面部肌肉，并且与语言相关的大脑区域完好无损。“这不一定适用于每位患者。”

Willett表示：“我们将其视为概念验证，只是为这个领域的行业人士提供动力，以将其转化为实际可用的产品。”

这些设备还必须在更多的人群中进行测试以证明其可靠性。加拿大温哥华不列颠哥伦比亚大学的神经伦理学研究员Judy Illes表示：“无论这些数据多么优雅，技术多么复杂，我们必须以一种非常谨慎的方式理解它们。”她补充说：“我们必须小心，不要过度承诺其对大规模人群的广泛适用性，我不确定我们是否已经做到了这一点。”

参考文献：

[1].  Willett, F. R. et al. Nature https://doi.org/10.1038/s41586-023-06377-x (2023).

[2].  Metzger, S. L. et al. Nature https://doi.org/10.1038/s41586-023-06443-4 (2023).

[3].  Moses, D. A. et al. N. Engl. J. Med. 385, 217–227 (2021).

阅读原文内容：

https://doi.org/10.1038/d41586-023-02682-7

往期精品(点击图片直达文字对应教程)

机器学习