看点:CMU研究人员在使用非侵入式脑机接口开发了第一个成功用意念控制的机械臂,展现了连续追踪和跟踪计算机光标的能力。
智东西6月23日消息,卡内基梅隆大学与明尼苏达大学的研究人员在非侵入式机器人设备控制领域取得了突破性的进展——使用非侵入式脑机接口(BCI),开发了有史以来第一个能用意念控制连续追踪电脑光标的机械臂。
人们从上个世纪90年代就开始研究如何用意念远程操秦川策略控外物,这一研究领域的一大难点在于,如何在不需要向大脑植入任何芯片和传感器的情况下,获取大脑发出的信号。
对于机械臂而言,举起重物、抓取物品等行动早秦川策略已如同探囊取物,但高精度、灵敏的运动规划依然困难重重。在这项新研究出现前,用非侵入式脑机接口控制的机械臂一直以不稳定、不连续的方式跟随电脑上光标的移动,看起来就好像屏幕卡顿了一样,延迟问题非常明显。
而这一研究团队构建了一种新的框架,采用一种人机相互适应的训练方式,通过定向增加用户学习和机器学习能力,改进脑机接口的“大脑”和“计算机”组成部分,并通过脑电图(EEG,Electroencephalogram)源成像的方式提高非侵入性神经数据的空间分辨率。
最终,他们不仅将传统的非侵入式脑机接秦川策略口学习能力提升了近60%,还将连续追踪电脑光标的能力提升了5倍以上。也就是说,机械臂能够实时连续地操纵电脑光标,几乎接近你直接用手操控鼠标光标的体验。这对于需要借助假肢的患者而言,绝对是一个福音。
这一研究成果已于美国时间2019年6月19日发表在机器人顶级期刊《Science Robotics》上,名为《用于机器人设备控制的非侵入式神经成像增强连续神经追踪(Noninvasive neuroimaging enhances continuous neural tracking for robotic device control)》。
非侵入式脑机接口更安全,低信号分辨率成发展阻碍
这项突破性的研究关乎两个关键的前沿研究领域——脑机接口和机械臂高精度实时运动规划。
顾名思义,脑机接口(BCI,Brain-computer interface)指的是在人或动物大脑和外部机器设备之间建立的直接连接通路,大脑一发出信号,机器就能执行大脑所传达的指令。
根据研究机构Allied Market Research的研究秦川策略报告,全球脑机接口市场预计在2020年将达到14.6亿美元,从2014至2020年的年复合增长率为11.5%。
脑机接口在医疗保健、智能家居控制、娱乐和游戏等领域正得到越来越广泛的应用。其中,医疗保健领域一直是脑机接口应用率最高的市场,瘫痪、肌肉萎缩、脊髓损伤、肢体残疾等患者可以借此补足缺失的身体功能,实现和环境以及其他人之间的互动。
脑机接口主要分为侵入式、部分侵入式和非侵入式三种类型。侵入式需要往大脑里植入神经芯片、传感器等外来设备;部分侵入式一般植入到颅腔内、灰质秦川策略外;非侵入式有脑电图(EEG)、功能性磁共振成像(fMRI)等类型,通常是通过脑电帽接触头皮的方式,间接获取大脑皮层神经信号。
这些不同领域的复杂程度各不相同。侵入式相对容易实现,但面临植入流程复杂、需要专业医疗和外科知识来正确安装和操作、植入物可能引起人体排异反应以及造成感染等问题。
而非侵入式使用的是外部传感器,价格相对低廉且更方便人们佩戴,但因为不是直接接触,它接收到的信号会有更多的噪音,导致它记录到的信号分辨率和控制精度很秦川策略难达到像侵入式那么高。
由于非侵入式的易用性,2013年,非侵入式脑机接口已经占了整个脑机接口市场收入的85%,并在未来表现出稳定的增长状态。
尽管非侵入式更受欢迎,但在预期患者群体中处于最高优先级的手臂或手部控制的恢复、增强或辅助技术方面,基于脑电图的脑机接口却并不是很有效,因为在实际临床应用中,机械臂的协调导航和精准定位对于患者体验而言至关重要。
为了满足这一需求,卡内基梅隆大学与明尼苏达大学的研究团队提出了一种统一的非侵入式框架,基于EEG实现对物理机械臂连续流畅的的二维控制与追踪。
华人学术领袖:已实现高分辨率,研发连续追踪新范式
其中一个研究人员叫贺斌,现任卡内基·梅隆大学(Carnegie Mellon University)的生物医学工程系主任和神经科学研究所电气与计算机工程系教授。
贺斌在1982年本科毕业于浙江大学秦川策略电气工程专业,1985年获东京工业大学电气工程硕士学位,1988年获东京工业大学生物电工学博士学位,并于1991年拿到在哈佛大学-麻省理工学院(MIT)的生物医学工程博士后奖学金。
他在功能性生物医学成像、多模式神经成像和非侵入式脑机界面等神经工程和生物医学成像领域做出了重要的研究和教育贡献。
▲2018年,贺斌在浙江大学开《神经工程及脑成像》专题讲座
他的开创性研究将脑电图从一维检测技术转变为三维神经成像模式。2016年12月,其团队首次证明人类在没有植入脑电极的情况下,仅用意念就可以控制三维空间中的机械臂抓取、放置物品和驾驶无人机。
目前,贺斌在主要推进的一个研究领域,即是开发出帮助残疾患者的非侵入式心智控制脑机界面。
▲专题讲座现场
贺斌表示,使用脑植入物的意念控制机器人设备已经取得了重大进展。这是一门很棒的科学,而非侵入性是这项研究的最终目标。神经解码的进展,以及非侵入式机械臂控制的实际应用,都将对非侵入式神经机器人的最终发展产生重大影响。
一方面,利用新的传感和机器学习技术,贺斌和他的实验室团队能够获取大脑深处的信号,实现对机械臂的高分辨率控制。
另一方面,通过非侵入式神经成像秦川策略和一种新的连续追踪范式,他们正在攻克EEG信号带来的噪音,从而显著改善基于脑电图的神经解码,并进一步推进实时连续的2D机器人设备控制。
创新框架:传统方法学习能力提高60%,连续追踪学习能力增强5倍
这是贺斌他们第一次通过人类受试者使用非侵入式脑机接口来控制在计算机屏幕上连续追踪光标的机械臂。
此前,非侵入式脑机接口只能以不稳定、离散的方式来控制机械臂移动光标,好像机械臂在努力“跟上”大脑的命令。而在贺斌等研究人员的努力下,机械臂的行动正在变得更加流畅、连续。
脑电图系统的基本流程是先经由电极帽等采集装置获取到大脑皮层的信号,并将其转换为数字信号,再选择最优导联的信号进行全局参数设置、预处理、特征提取和分类等信号处理任务,最终通过控制器实现对机械臂等外部装置的控制。
而在本文介绍的新研究中,研究人员们建立了秦川策略一个新的框架,采用一种人机相互适应的训练方式,通过定向提高脑机接口的用户学习和机器学习能力,改进脑机接口的“大脑”和“计算机”部分,并通过脑电图(EEG)源成像提高非侵入式神经数据的空间分辨率。
由于人脑活动随着时间和空间的变化而改变,因此要对大脑神经进行成像,需要使用高时间和高空间分辨率的工具。
本次研究采用的脑电图源成像(ESI,EEG source imaging)技术是通过头皮的电位分布反推颅内皮层的电位分布,并根据头颅解剖特点采用限差分头模融入头颅空间,来减轻噪音影响,预测大脑皮层活动。
相比传统传感技术, EIS技术能提供更高的时间分辨率和空间分辨率,给离线神经解码领域带来了令人惊喜的进展,不过,这些方法还需经进一步的验证。
▲基于源连续追踪脑机接口机械臂框架
以此为基础,研究人员们研发了实时ESI平秦川策略台,并使用了一种连续追踪(CP,continuous pursuit)的方法进行训练,经实验,其框架使得传统离散试验(DT,Discrete Trial)的脑机接口学习能力提高了近60%,连续追踪的脑机接口学习能力增强500%以上。
实时ESI的实用性还进一步为基于传统传感器的脑机接口用户在连续追踪脑机接口控制方面带来10%的改进。
基于上述改进,研究人员们展示了机械臂的连续控制能力,其水平与虚拟光标控制的水平几乎相同,突出了非侵入式脑机接口转化为用于实际任务和临床应用的真实设备的潜力。
迄今为止,该技术已经在68个健全的人类秦川策略受试者中进行了测试(每个受试者多达10次),测试内容包括虚拟设备控制和机械臂控制。
该研究团队表示,该技术能直接适用于患者,同时他们计划在不久的将来进行临床试验。
“尽管使用非侵入性信号存在技术挑战,但我们将会一直致力于把这种安全且经济的技术,带给可以从中受益的人。”贺斌说,“这项努力是非侵入秦川策略式脑机接口领域迈出的重要一步,脑机接口技术未将有机会成为无处不在的辅助技术,就像智能手机一样。”
这项研究得到了美国国家补足和综合健康中心(National Center for Complementary and Integrative Health)、国家神经疾病和中风研究院(National Institute of Neurological Disorders and Stroke)、国家生物医学成像和生物工程研究所(National Institute of Biomedical Imaging and Bioengineering)和国家心理卫生研究所(National Institute of Mental Health)的支持。
结语:非侵入式脑机接口迈出重要一步
尽管目前侵入式神经解码领域的目标动态追踪能力要普遍高于非侵入式,但对于大多数人来说,非侵入式脑机接口仍然是更安全、更容易接受秦川策略的选择。
此次连续追踪脑机接口范例成功提升了脑机接口的性能和效率,展示了高度灵活的机械臂操控计算机光标技能。如果这项技术能够走向成熟,将会给瘫痪患者和手部、手臂部位运动障碍患者们的生活带来极大的便利。
同时,随着研究人员对它进一步深入的研究和开发,它在将来也许会更普及地应用到普通人的生活中。我们不妨大胆设想一下,或许未来有一天,人们可以用意念实时控制计算机光标和打字,彻底解放双手、抛弃键盘。