脑机接口人因工程

脑机接口(BCI)是一种变革性的人机交互,目前正朝智能脑机交互和脑机智能融合方向发展。然而,BCI 的实用化面临极大的挑战,BCI 技术成熟度尚未能满足用户的需求,BCI 的传统设计方法有待改进。BCI 人因工程对缩小研究与实际应用之间的差距具有重要的作用,但目前尚没有引起足够的重视,也没有专门的深入论述。本文针对 BCI 人因工程,阐述以人为中心的 BCI 设计需求(来自用户)、设计思想、目标和方法以及评价指标。BCI 人因工程可望使处于不同使用条件下的 BCI 系统设计更符合人的特点、能力和需求,提升系统的用户满意度,增强用户体验感,提高 BCI 的智能化,使其走向实际应用。

引言

脑机接口(brain-computer interface,BCI)是一种颠覆传统人机交互的技术[1-2],其目的是在人脑和机器(包括计算机)之间建立直接的通信和控制通道[3-4],为疾病患者、残障人士和健康个体提供可选的与外部世界通信和控制的方式,以改善或进一步提高他们的生活质量。目前及未来,BCI 是国际重大前沿研究热点,正朝智能脑机交互和脑机智能融合方向发展。

然而,目前 BCI 的实用化正面临极大的挑战[5-6],如 BCI 相关产品用户体验感较差、满意度较低[7-9],BCI 技术的成熟度还远远不够。传统的 BCI 研发主要聚焦提高解码精度和速度单一方面的指标[10],没有充分考虑 BCI 人因工程[11-12]。BCI 设计和评价要以人为中心[7-10, 13-20],充分考虑 BCI 用户的生理和心理因素以及能力特性,如图 1 所示。该图表明了 BCI 人因工程、BCI 系统与人的关系。

脑机接口人因工程_第1张图片

图1 BCI 人因工程、BCI 系统与人的关系

BCI 人因工程是 BCI 由实验室研究向实际应用转化的关键理念和方法[5-6]。本文针对 BCI 人因工程,根据 BCI 系统的目标,以人为中心,提出了 BCI 人因工程的目标,进而论述了以人为中心的设计和评价方法,包括 BCI 人因工程要素;接着阐述了 BCI 人因工程的另外一个要求,即 BCI 系统的智能化,并介绍了人脑、BCI 与人工智能(artificial intelligence,AI)的关系以及 BCI 的发展趋势。此外,概述了 BCI 人因工程的其他事项,包括 BCI 研发的医学伦理、BCI 产品用于治疗和康复的相关医疗器械注册证和生产许可证以及市场准入、BCI 相关医疗产品用于治疗和康复的医保报销政策。最后,介绍了 BCI 的应用前景和商业价值。期望本文可以为推动 BCI 技术相关产品走向实际应用提供思想和方法借鉴。

 1、BCI 人因工程

1.1   BCI 定义及其目标

BCI 是一种绕过外周神经和肌肉,通过采集并分析脑信号实现用户大脑直接与外部设备实时交互的通信或控制系统[1-2]。BCI 的一个重要目标是为严重运动障碍(如肌萎缩侧索硬化症、脊髓损伤、截瘫)的人或其他患者提供与外界交流的工具,以改善他们的生活质量[21-22]。除此以外,BCI 也为健康人提供更多与外界交互的方式,以进一步提高生活质量[23]。

随着 BCI 技术的不断发展,BCI 应用的广度和深度也在扩展,除了可用于医学领域的预防、治疗和康复(如运动功能障碍康复)外,在非医学领域的应用也有了长足的进展,如增强正常人的感知觉、认知和行为表现,监测个体的生理和心理状态(如脑力负荷、情绪状态、睡眠状况),提供娱乐(如游戏),这些应用有望在未来的日常生活中普及[23]。BCI 除了上述民用的研发目标外,还有不少军用的研发项目,可以战略性地用于军事目的,如脑控武器等。

1.2   BCI 人因工程定义及其目标

BCI 系统由人这一生物系统、BCI 信号采集系统、BCI 信号处理和解码系统、外部的机器系统、神经反馈系统和环境系统组成,如图 2 所示。BCI 系统的这些子系统是相互作用的,集成在一起成为一个有机的系统。因此,BCI 系统中充分体现了人、机器和环境之间的相互作用关系。BCI 系统涉及了人脑的结构和功能可塑性、个体的生理和心理状态等,这些要素构成了 BCI 人因工程的基础。BCI 人因工程研究 BCI 用户、BCI 硬件和软件、外部机器和环境四者之间的相互作用关系。BCI 系统的最终目的是为人类服务,进一步提高人类的生活质量,BCI 人因工程要求以人为中心设计和研发 BCI 系统,提高 BCI 系统中人的工作效率和质量且确保人的安全、健康和舒适等目标[12]。

脑机接口人因工程_第2张图片

图2 基于 BCI 的脑控轮椅系统示意图

如前所述,BCI 的研发不仅为严重运动残疾人士服务,改善该类人群的生活质量,而且也为正常个体和人群服务,进一步提高他们的生活质量。BCI 的这些目标及应用决定了 BCI 人因工程的目标——使处于不同使用条件下的 BCI 系统设计更符合人的特点、能力和需求,实现终端用户、BCI 系统、环境之间的最佳匹配,最终获得安全、可靠和高效的 BCI 系统,也包括提高 BCI 系统的可用性和用户体验。BCI 人因工程的目标决定了 BCI 的设计和研发必须以用户为中心[10],如图 3 所示。

脑机接口人因工程_第3张图片

图3 BCI 目标、BCI 人因工程目标与以人为中心的 BCI 设计 方法之间的关系

1.3   以人为中心的 BCI 设计和评价方法

1.3.1   BCI 人因工程要素

BCI 人因工程要素如图 4 所示,最核心的要素是 BCI 用户和 BCI 软硬件要素,以外还包括智能化的外部设备和智能化的环境。在 BCI 人因工程中,不同的用户有不同的需求,需要针对特定用户进行个性化的 BCI 设计和评价,也要考虑用户的能力和状态变化。就 BCI 硬件而言,BCI 传感器的安全性、舒适度和美学性至关重要,在很大程度上决定了用户是否选用 BCI 产品;就 BCI 软件而言,脑信号处理与解码的精度和速度也极为重要,决定了 BCI 系统的有效性和效率,严重影响 BCI 的可用性;就 BCI 心理任务而言,其难易程度及引起对用户的副作用(如疲劳),决定了 BCI 系统的易学性,会严重影响用户体验。为使 BCI 得到广泛应用,便于组建 BCI 应用系统,需要 BCI 与外部设备之间具备通用接口。考虑到目前 BCI 并不智能,甚至有些“笨”,还需要其控制的外部设备具有一定的智能化,也需要具有一定智能性的环境。

脑机接口人因工程_第4张图片

图4 BCI 人因工程要考虑的要素

需要特别说明的是,在 BCI 人因工程要素中,BCI 传感器和放大器对 BCI 转化为实际应用具有重大的影响。对 BCI 传感器,要求尽可能采集到高质量的脑信号,同时,必须以用户为中心,提高用户体验感和满意度。虽然也需要提高 BCI 传感器的电磁兼容性、无线传输距离和电量维持时间,但更为重要的是确保 BCI 传感器的安全性、舒适感、美学性和易使用性。对于无创 BCI 传感器,其可穿戴性和人体工程学需要精心设计[7]。目前仍然使用的凝胶电极准备时间长,不易使用,凝胶使得舒适感较差,脑电帽的美学性也较差。而干电极或近红外探头会压迫头部,产生疼痛感(特别是电极或探头数量较多时),且采集的脑信号质量尚需要进一步提高。此外,盐水电极易挥发,不易长期使用,而柔性电极采集信号的质量也需要进一步提高[10, 15, 24-27]。对于有创 BCI 传感器,首先要确保其安全性,包括手术植入电极的安全性,避免脑损伤和感染,必须以一种适当的几何形状来排布记录位置,以便在插入过程中以及传感器后续留在组织中时最大限度地减少组织损伤,另外,出于使用需要应包含更多的记录点,较多数量的记录位置会获取更多有效信号,但太多的电极会产生大量的组织损伤,因此需要做出权衡[21-22];其次,需要充分考虑植入电极后用户的感受(包括舒适感),避免疼痛感;此外,还需要提高有创 BCI 传感器的易使用性,确保能够长期可靠地采集到符合要求质量的信号(提高生物相容性),如果传感器失效,应该便于更换[7]。目前,BCI 传感器正朝着安全、舒适与美学(超微型化)、易使用等方向发展。

在 BCI 人因工程因素中,操控 BCI 的心理任务对潜在 BCI 用户是否接受和喜欢使用 BCI 系统也具有重要的影响。对操控 BCI 的心理任务优化设计(BCI 范式选择和设计),要求心理任务尽量简单(适合用户,为用户认可和接受,甚至喜欢)、自然(日常生活中经常执行的心理任务)和舒适(避免容易疲劳的任务)以减轻脑力负荷,能够诱发差异显著、可分性好的脑信号特征以避免 BCI 无效[14, 28-29]。为此,需要根据用户的能力特性来设计驱动 BCI 的心理任务,要考虑任务是否使用户满意。对基于运动想象(motor imagery,MI)的 BCI(MI-BCI),没有运动想象能力或经过训练后能力仍然较低的用户,不建议使用该类 BCI。对基于稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)的 BCI(SSVEP-BCI)和 P300-BCI,虽然它们通常训练时间较短[7, 30-31],但 P300-BCI 中新颖的闪光模式和刺激对眼球运动受限的用户无效[32-33],而 SSVEP-BCI 频率过低的闪光刺激可能会使用户眼睛疲劳或诱发癫痫等[5-6]。此外,还要注意非透明映射(心理任务和控制命令之间不一致)可能会导致自主意识的改变,从而影响用户脑机交互时的表现。为此,在设计 BCI 范式时,要使心理任务自然地与 BCI 控制的任务相一致[5-6, 34-35]。

此外,脑信号处理与解码算法是 BCI 系统的关键技术之一,在较大程度上影响了 BCI 的有效性和效率,从而影响了用户的体验感和满意度,因此也是 BCI 人因工程的重要因素。对于 BCI 脑信号处理与解码算法,首先应确保该算法的正确性,同时尽可能降低其时间复杂度和空间复杂度,提高算法的易读性和健壮性,解码算法指标可以采用准确率、精确率、召回率、接收者操作特性(receiver operating characteristics,ROC)曲线、曲线下面积(area under curve,AUC)值、F 值、P-R 曲线。此外,BCI 操作需要两个自适应控制器(BCI 用户和 BCI 解码算法)的有效交互[20]。这要求 BCI 解码算法具有协同自适应学习的能力,使机器得以学习并适应 BCI 用户,与 BCI 用户共同进化[7, 36-42],进一步提高 BCI 系统的精度和鲁棒性。为在一定程度上减轻 BCI 用户的学习或训练量,可以引入迁移学习算法等。除了 BCI 解码算法外,在满足 BCI 产品功能的基础上,需要设计友好的图形用户界面(graphical user interface,GUI),如符合用户习惯和审美的菜单,包括文本、图标布局和反馈界面,也考虑使用者的文化水平和学习能力等,一个非语言的、形象简单的图标菜单是 BCI 系统输入的更好选择[13]。

如前所述,BCI 旨在直接脑控外部设备,然而目前的 BCI 系统并不智能,为增强 BCI 控制系统的可用性,提高用户的体验感和满意度,需要被控的外部设备具有一定的智能性。其中一种方法是引入共享控制,即 BCI 用户可以输入高级的目标指令,然后由外部智能设备辅助完成某些具体的控制过程,如基于共享控制的机器人和轮椅可以执行智能化动作(如智能避障,拒绝无意义的心理命令),基于共享控制的智能虚拟键盘提升了拼写速度[5-6, 43-48]。共享控制降低了 BCI 用户的认知工作量,进而实现可靠、高效和用户体验度高的 BCI 产品。

除上述要素外,还需要注意 BCI 用户、BCI 系统(硬件、软件和神经反馈)和外部装置是位于一个现实的环境之中,考虑到目前 BCI 系统并不智能,可能需要 BCI 运行的环境具有一定的智能性。目前,多数 BCI 系统的研发是在控制良好、结构化的实验室环境中进行的,然而终端用户操控 BCI 的环境是非控制、非结构化的,噪声更大、干扰因素更多,用户更难集中注意力,且动态性更大,会导致脑信号发生剧烈变化。因此,基于实验室环境的 BCI 在现实环境中可能会失败[7],这要求 BCI 系统具有理解和适应环境的能力,也要求被控的外部设备具有理解环境的能力,而且 BCI 运行环境可能需要配备智能传感器网络[49]。如在 BCI 控制的轮椅和电器智能家居系统中加入智能传感器网络,多个路径点被放置在整个房子里,当屋内的传感器检测到用户处于一个与可控设备相对应的路径点时,它向 MI-BCI 提供相应控制操作[50]。基于智能环境理解技术的康复医院环境控制系统,智能环境理解模块用于建立系统与场景信息的映射关系,检测当前环境中潜在的操作对象,建立对用户控制意图的初步预测。它们都能提高系统吞吐量,减少人们心理任务工作量,从而提升 BCI 用户体验感[51]。

1.3.2   以人为中心的 BCI 设计方法

考虑 BCI 人因工程要素,以人为中心的 BCI 设计方法要在整个研发过程中以 BCI 终端用户为核心。首先分析 BCI 用户的需求,根据此需求设计和研发 BCI 系统,并从用户的角度,采用 BCI 用户体验量表、BCI 有效性和效率来综合评价 BCI 用户的满意度。如果用户不满意,需要不断修正和改进 BCI 系统,直到 BCI 用户满意为止或最终放弃设计的系统。

为实施以人为中心的BCI设计方法,快速研发满足终端用户的BCI系统,我们把软件工程中的快速原型法(rapid prototyping)引入到BCI系统的研发中[52-53],如图5所示。在确定潜在 BCI 用户的基本需求信息时,具体包括如下方面:

(1)BCI 用户的基本需求。不同的 BCI 用户需求不一样,如果是肌萎缩侧索硬化症患者,与他人交流困难,生活难以自理,如果是高位截瘫患者,虽然可以正常交流,但其四肢瘫痪,肢体的感觉运动、反射完全消失,生活也难以自理,这些患者需要辅助技术弥补与外部世界通信/控制的障碍;如果是健康个体,在特定情况下可能需要监测心理状态或者解码隐秘的用户状态[23]。

(2)BCI 用户的能力特性和状态特征。能力特性包括人体参数和生物力学特性、认知和决策能力、操作控制能力,会影响操控BCI的能力。例如,年轻人通常能够使用基于计算机的设备,但对于那些从未使用过计算机的老年人或文盲用户,即使是简单的系统也可能不会使用[13]。BCI 用户的状态特征包括情绪、工作负荷和人因可靠性等。Blain-Moraes等认为,疲劳、焦虑、不适和对技术的态度等对 BCI 接受度有很大影响[13]。例如,害怕和笑会干扰脑电响应,产生噪音,而沮丧和焦虑会导致注意力分散,无法正常产生所需的脑信号,这些状态会显著地削弱BCI的有效性[13]。BCI 用户的能力特性和状态特征可以确定潜在用户的可用性。

(3)BCI 应用类型。可能是通信类应用,如文本输入、上网和发邮件等,也可能是控制类应用,如脑控轮椅等,或者是身心康复/调节等,研发者需要理解和明确 BCI 使用场景。

(4)确定 BCI 范式。如 MI-BCI、P300-BCI、SSVEP-BCI 等,这些范式是驱动 BCI 的心理活动或诱发的用于通信或控制的脑信号成分。

(5)确定 BCI 传感器类型。如可选择采集脑电、功能性近红外光谱、脑磁、皮层脑电和尖峰脉冲等信号的传感器。

(6)估计 BCI 系统研发的成本。在确定 BCI 用户的基本需求时,设计者与目标用户通过交互完成。

根据上述确定的 BCI 用户基本需求开发 BCI 初始原型(初始的 BCI 硬件和软件功能),从而得到 BCI 初始原型;然后目标 BCI 用户使用 BCI 原型系统并进一步澄清用户的需求,如诊断、需求、愿望、环境约束、售后服务、维护和远程支持[14];接着根据用户需求评价 BCI 设计,采用标准化的指标,如 BCI 可用性、BCI 满意度、日常使用、开放问题、用户随访以及与应用相匹配的问卷调查表等[8, 10, 14],其中 BCI 的可用性包括 BCI 有效性(选项的正确率)和 BCI 效率[如信息传输率(information transfer rate,ITR)和脑力负荷]。除此而外,也要评价 BCI 设计者的满意度,以及其他利益相关者的满意度。在进一步澄清用户的需求和评价 BCI 用户满意度的时候,由设计者与目标用户共同完成。

经过上述评价,如果开发的 BCI 系统不满足用户的需求,一种策略是放弃,另外一种策略是继续运行 BCI 原型,按照满意度评价结果予以修正和改进,从而获得改进的 BCI 原型(完善的 BCI 软硬件功能),然后进一步评价 BCI 用户的满意度,进行迭代。如果改进的 BCI 原型使用户满意,可以把 BCI 原型作为应用系统或应用系统开发的基础。

综上所述,BCI人因工程贯彻以人为中心的设计方法,以用户满意为目标,遵循表 1 所示的国际标准化组织(International Organization for Standardization,ISO)定义的原则设计BCI系统。因此,BCI人因工程强调用户参与BCI设计全过程的重要性,从BCI用户需求和愿望的初步分析开始,选择最适用的外部设备,最后以系统实施结束[5-6]。将以人为中心的设计原则贯穿到BCI设计过程中时,可以做如下考虑:

脑机接口人因工程_第5张图片

表1 国际标准化组织(ISO,2010)定义的以人为中心的设 计原则

(1)理解并明确使用场景。BCI 在神经康复、辅助设备控制、教育、军事、娱乐、智能家居等方面有着广阔的应用前景。在产品设计前,需要对相关产品进行信息收集和分析,了解 BCI 市场需求,确定产品的应用方向,并对相关用户进行访问和调查,定位目标人群[5-6]。

(2)分析用户需求。利用获取的用户需求定义产品的功能并探索产品的形态,这对后期产品开发具有指导意义。以上可通过问卷和半标准化的访谈来实现,询问终端用户对实际的脑控设备在各个方面的满意程度。如果 BCI 控制的应用是针对通信,则有效性和效率至关重要,而当以娱乐为目标时,可能会更专注于设计和其他小工具,因为用户对它们的容错率较高[5-6, 8, 10, 54]。

(3)为用户提供设计解决方案。首先根据(2)中得到的需求设计模型,然后选择健康受试者对初步模型进行测试和评价。最后,通过迭代改进上一个模型版本,最终的原型有望成为一个可根据患者需求个性化定制的通用设备[5-6, 8]。

1.3.3   以人为中心的 BCI 评价方法

BCI 人因工程要求以人为中心设计 BCI,该设计过程是一个包含了 BCI 评价的迭代过程,如图 5 中灰色框所示。与传统采用单一角度(如准确率和信息传输率)评价 BCI 用户体验感的方法不同,现采用以人为中心的 BCI 评价方法[10],即考虑 BCI 产品的使用环境,在传统定量评价的基础上,结合 BCI 传感器总体满意度表、BCI 系统满意度评价表、视觉模拟量表(Visual Analogue Scale,VAS)、用户操控 BCI 的脑力负荷评价量表(NASA-TLX)和面谈/随访等共同评价用户满意度,下面将详细阐述。

脑机接口人因工程_第6张图片

图5 BCI 系统研发的快速原型法示意图

对于潜在的 BCI 终端用户来说,用户体验感至关重要,决定了用户是否愿意使用或购买 BCI 产品。在 BCI 系统中,传感器极为关键,是 BCI 实用化的一个瓶颈,在很大程度上决定了 BCI 系统的性能(采集信号的质量)和用户的可接受性。BCI 用户可从安全性、舒适度、美学性、易使用性和总体满意度 5 个方面对使用过的 BCI 产品的传感器进行评价。表 2 是某次实验用户对所使用 BCI 传感器满意度评价示例。表中 5 个方面的评价等级范围从最低等级(用 1 表示)到最高等级(用 5 表示),× 表示本次实验用户未使用过该类型的 BCI 传感器,故未做评价。

脑机接口人因工程_第7张图片

表2 某次实验用户对所使用 BCI 传感器满意度评价示例

脑机接口人因工程_第8张图片

表3 BCI 系统满意度评价项目

表4 视觉模拟量表(VAS)Table4. Visual Analogue Scale(VAS)

除了对 BCI 传感器的评价外,BCI 总体满意度还包括其他评价方面,如可参考用户对辅助技术满意度评价表 Quest 2.0 及其扩展表[8, 10, 55-56]设计 BCI 系统满意度评价表,如表 3 所示,由用户分别对舒适度、尺寸、易用性、有效性、易安装调整性、安全性、服务质量、重量、可靠性、实时性(快速性)、易学性和美学性进行评价,评价分为非常满意、满意、一般、不满意、非常不满意五个等级。其中尺寸和重量与 BCI 的便携性相关。

表 3 中 13~16 项(医疗人员提供 BCI 设备专业服务、BCI 设备的耐久性、BCI 设备的维修服务和 BCI 设备后续咨询与追踪服务)可用于用户使用的最终 BCI 产品的评价指标,这 4 个指标不足以在研发过程中评价 BCI 控制应用[10]。表 3 中 1~12 项可用于图 5 中的 BCI 满意度评价环节[8, 10],1~16 项可对用户使用 BCI 产品的整体满意度进行评价。需要注意的是:

① BCI 系统满意度评价表在具体应用中可结合定量评价方法,用户对表 3 中第 4、9、10 项的主观评价需要研发人员与准确率、失效率、平均故障间隔时间和 ITR 等定量指标相结合,具体见讨论部分;

② 对用于临床的 BCI 设备,BCI 设备生产商、医疗人员和 BCI 用户之间需要交互;对于非临床的 BCI 设备,BCI 设备生产商、销售商和 BCI 用户之间也需要交互。

BCI 系统满意度评价表项目较多且用时较长,不便在快速原型研发迭代过程中对不同用户试用 BCI 原型完成不同任务(同一个 BCI 产品完成不同功能的任务)时评价满意度。为此,可采用简单快速的 VAS 来评价用户使用 BCI 设备的满意度,如表 4 所示[5-6, 10],表中不同用户在操控 BCI 完成不同任务时的满意度范围从“不满意(1)”到“绝对满意(10)”。

上述量表 2~4 不包含对用户操控 BCI 系统的脑力负荷评价,然而,BCI 系统是直接由用户的脑信号控制的,用户在使用 BCI 时需要承受一定的脑力负荷,令用户满意的 BCI 系统应该使用户承受较小的脑力负荷,以提高用户的体验感和满意度。因此,在以人为中心的 BCI 设计和评价方法中,需要评价用户操控 BCI 的脑力负荷,我们采用美国航空航天局任务负荷指数量表(NASA task load index,NASA-TLX)来评估用户的主观工作负荷,如表 5 所示。在表 5 中,用户操控 BCI 的脑力负荷评价包含 6 个维度:脑力(心理)需求、体力(生理)需求、时间需求、努力程度、绩效(性能)水平以及挫败程度[5-6, 8, 57-58]。

脑机接口人因工程_第9张图片

表5 用户操控 BCI 的脑力负荷评价量表

通过图 5 的 BCI 快速原型开发以及表 2~5 的评价,可得到一个最符合 BCI 用户要求的模型,进而生产出最终产品并交付给最终 BCI 用户。在 BCI 产品使用过程对用户进行随访,请其发表评论,说出日常使用中不满意的原因,以便后续 BCI 产品的改进或升级研发。

到目前为止,已有研究对 BCI 产品使用过程中的用户随访显示[8-10]:① 对所测试的几乎所有 BCI 应用,用户反映 BCI 硬件和软件的安装和设置,特别是带有凝胶的电极帽,是 BCI 日常使用的主要障碍,准备工作花费了太多时间,而且技术性很强(需要 BCI 专业技术人员的大量支持和维护);② 用户反映与其在日常生活中用于交流和互动的传统辅助设备相比,BCI 速度太慢,进行真正的交流或拼写更长的句子/文本花费的时间太长;③ 用户反映使用 BCI 需要不断的训练,MI-BCI 训练花费时间太长,SSVEP-BCI 和 P300-BCI 刺激使人疲劳;④ 用户反映在公众场合使用 BCI,由于设备太大且引人注目,会感到不舒服,用户认为脑电帽电极应该更少,放大器应该更小,如果能够超微型和超轻会更好。总之,用户认为 BCI 的操控应该是轻松、愉快、舒适,而不是沮丧和疲劳。

2、BCI 人因工程要求 BCI 系统智能化

2.1   BCI 系统的智能化

如前面所述,BCI 旨在直接用人的思维意图与外部世界进行通信和控制,但这并不意味着就是智能的脑机交互。目前,BCI 并不智能,甚至有些笨拙,这与 BCI 用户并不匹配,降低了用户操控 BCI 的成效感,严重影响了 BCI 用户的体验感和满意度,难以满足 BCI 人因工程要求的以人为中心的设计理念。因此,BCI 系统的智能化是 BCI 人因工程的必然要求。基于以上考虑,需要把适当的 AI 新技术引入 BCI 系统,赋予 BCI 系统一定程度的智能,期望增强 BCI 系统的可用性。

图 6 为 BCI 与 AI 的关系示意图。图 6a 表示 BCI 与 AI 并行发展,是二者早期的一个关系;图 6b 表示 BCI 与 AI 有交叉的发展阶段,一个典型应用是 1.3.1 节中提到的共享控制的轮椅(由脑信号控制方向,智能环境识别技术实现轮椅自动避障),BCI 和 AI 分别负责两个功能,彼此独立又彼此合作[5-6];图 6c 表示把 AI 引入 BCI 中,典型应用是把深度学习等机器学习算法引入 BCI 系统;图 6d 表示把 BCI 引入 AI 中,典型应用是把 BCI 作为某个 AI 系统的输入通道[5-6, 59-60]。随着 BCI 与 AI 的进一步发展,二者交叉融合,可以通过 AI 增强 BCI 的智能化。智能化的 BCI 系统应该能够智能感知 BCI 用户状态及外周环境的信息,并能对这些信息进行理解和整合,进而进行判断和推理。

脑机接口人因工程_第10张图片

图6 BCI 与 AI 的关系示意图

a. BCI 与 AI 并行发展;b. BCI 与 AI 交叉发展;c. 把 AI 引入 BCI 中;d. 把 BCI 引入 AI 中

一些增强 BCI 智能化的可能方法:① 可以考虑把基于深度学习的智能环境识别技术引入 BCI 系统,并与 BCI 系统相融合,深度学习可以对复杂环境中多目标相关的大数据进行学习和识别,能够增强 BCI 系统对环境的适应性。还可以考虑把其他最新的计算机视觉技术与 BCI 系统相结合[61],以增强 BCI 系统对环境的感知能力。② 可以将虚拟现实/增强现实技术与 BCI 系统相融合[62-63],以增加 BCI 用户的沉浸感,提高他们的体验感。③ 也可以考虑把最新的神经反馈技术与 BCI 系统相结合,促进操控 BCI 的脑区可塑性,帮助 BCI 用户学会控制或调节脑波节律的效率,进一步增加 BCI 用户的沉浸感[64]。④ 可采用新的智能机器学习算法处理脑信号并解码用户意图以及监测用户状态,如迁移学习和强化学习等[65]。⑤ 未来的 BCI 应用是一个智能系统,与 BCI 通信和控制的设备应具有适当的智能并有与 BCI 通信的通用接口。

2.2   人脑、BCI 与 AI 的关系及 BCI 的发展趋势

BCI 系统是直接由人脑控制的,智能化的 BCI 需要引入 AI,BCI 为人脑智能(生物智能)和 AI(机器智能)架起了一座桥梁[66],如图 7 所示。通过 BCI 可能把人的智能与机器的智能融合起来,从而实现脑机智能融合,并可能赋予机器一定的情感,开辟受认知与神经科学启发的 AI 研究。

脑机接口人因工程_第11张图片

图7 人脑、BCI 和 AI 的关系示意图

图 8 为 BCI 发展趋势的示意图,脑机智能融合可能是 BCI 发展的高级阶段,将更加体现 BCI 人因工程的理念和方法。

脑机接口人因工程_第12张图片

图8 脑机接口发展的趋势及其高级阶段——脑机智能融合

3、BCI 人因工程的其他重要事项

3.1   BCI 研发的医学伦理

BCI 研发的目的是进一步提高人类的生活质量,体现了以人为中心的目标。因此,在 BCI 相关项目申请和实施过程中、BCI 相关产品的研发过程中以及 BCI 商品销售和使用过程中,为确保动物和人的生命安全,要求进行医学伦理等相关论证,并遵守论证的要求,避免反人类的 BCI 研发。

BCI 技术的研发无论是“脑控技术”还是“控脑技术”,其目的均是提供可选的新型人机交互方式,为人类服务,而不是损害人类的利益[1-2, 5-6]。所谓的“脑控受害者”或“控脑入侵”等都不是人类愿意接受的,也不是科学研究的目的,科学界和政府应该达成一致意见,制定相应的规则、法规或法律来规范和约束研究者和使用者的行为。

除此而外,也应该对社会各界进行正确的 BCI 技术科普和引导,使他们对 BCI 技术研究的目的有正确的认识,同时对 BCI 研究的现状和未来趋势有一定了解,从而消除社会公众的误解,以提高社会认知心理水平,最后使 BCI 研究界、政府和社会各界取得共识。

3.2   BCI 产品用于治疗和康复的相关医疗器械注册证和生产许可证以及市场准入

BCI 相关产品是直接用人的脑信号进行操控和使用,并且为人服务,因此,该类产品具有独特性。BCI 人因工程要求以人为中心设计和研发 BCI 产品,首先必须确保 BCI 产品的安全性,然后确保其有效性,特别是 BCI 相关产品用于治疗和康复时。

用于治疗和康复的 BCI 产品作为一种医疗器械投入市场需要符合各国的标准,获得所在国家的许可认证。例如,中国市场需要获得国家药品监督管理局(National Medical Products Administration,NMPA)的医疗器械注册证和生产许可证,如果还想开发国外市场,如欧洲市场,需要获得欧盟的 CE 认证,如果是美国市场,则需要获得美国食品药品监督管理局(Food and Drug Administration,FDA)的认证。此外,在这类 BCI 产品投入市场时,需要遵守各国政府制定的市场准入法则,以维护持续健康的市场环境。

目前,BCI 相关产品的医疗器械注册申请和审核过程周期长,较难取得。对于非植入式 BCI 产品,主要是该类产品的有效性尚存在问题,需要科学精准的效果评价指标;对于植入式 BCI 产品,主要是该类产品的安全性尚存在问题,需要确保安全性的技术,必须经过缜密的临床试验。

3.3   BCI 相关医疗产品用于治疗和康复的医保报销政策

目前,BCI 相关医疗产品用于治疗和康复的费用可能较高,会给患者及家庭带来经济负担,反过来也会影响该类产品的推广应用,为体现以人为本的服务理念,需要社会保障政策把 BCI 用于治疗和康复的费用纳入医保,以减轻患者的经济压力。否则,由于费用较昂贵,患者可能不愿意接受 BCI 的治疗。

4、BCI 的应用前景和商业价值

BCI 是一种新型的变革性人机交互,旨在进一步提高疾病或残障人士以及健康个体的生活质量。在过去几年里,随着 BCI 技术的发展,新成立的与 BCI 相关的公司数量逐年增加,方兴未艾,投入 BCI 转化的资金也不断增加。然而,这些公司面临着创业艰难和 BCI 产品难以落地等问题,与助残、防治与康复或进一步提高正常人生活质量的其他辅助技术相比,目前其市场容量较小,根本原因是 BCI 技术成熟度尚未能够满足用户的需求,特别是尚未达到用户的满意度,用户体验感需要大大提高。为缓解这些问题,同时开拓潜在的用户群体,需要充分考虑 BCI 人因工程,把 BCI 人因工程的理念和方法引入 BCI 设计和评价中,形成以人为中心的 BCI 设计和评价方法。

随着 BCI 技术的不断发展和 BCI 人因工程的引入,BCI 产品会逐步满足用户的需求,在此基础上将其成本降低,价格为用户所接受,达到用户的总体满意度,那么 BCI 相关产品将具有较大的市场容量,甚至有望在许多行业或人们的日常生活中广泛应用。

如果将 AI 引入 BCI,使 BCI 与 AI 相结合,具有较高智能化的 BCI(智能脑机交互)将会有更广阔的应用前景,甚至可以获得普适的 BCI 应用[1-2],因此,从长远来看,智能化 BCI 具有极大的应用前景和商业价值。

5、讨论

对于试图商业化的 BCI 系统,究竟应该由 BCI 研发人员从技术上定量或客观评价 BCI 的性能,还是应该由潜在 BCI 用户从使用的满意度去定性或主观评价 BCI 产品呢?可能最合适的方法是既要从 BCI 专业的角度去定量和客观评价 BCI 系统的性能,更要从最终用户的角度去评价 BCI 产品使用的满意度,将二者结合起来。

当然,本文主要阐述 BCI 人因工程——以人为中心的设计和评价方法,侧重从用户的角度去评价 BCI 系统,会带有用户个人的主观意见。实际上,用户对 BCI系统的满意度评价与许多定量指标直接和间接相关,例如,只有当 BCI 系统的失效率较低、平均故障间隔时间较长以及准确率和 ITR 较高时,用户才会对表 3 中第 4、9、10 项满意,使 BCI系统的总体满意度达到一个较好的结果。

诚然,大多数用户往往不具有 BCI 专业知识,其评价结果可能会受到 BCI 研发人员的质疑,这需要研发人员把相应定量指标与用户评价相结合,以避免评价的偏见性或偶然性。实际上,图 5 所示的 BCI 快速原型研发方法,已包含了 BCI 研发人员的技术角度和潜在 BCI 用户的满意度,是一个不断完善的迭代过程。上面提到的 BCI 定量指标,具体计算方法如下。

准确率是 BCI 研发中最常用的评价指标,其计算如式(1)所示:

式中 H 表示正确的试验次数,N 表示总试验次数。

ITR 是 BCI 研发中另一个常用的指标,指在单位时间(如一分钟)内系统传输的信息量,其计算如式(2)所示:

式中 N 表示目标数量,P 表示准确率,T 表示输出一个指令所需的时间。

除了上述准确率和信息传输率外,一些 BCI 研发还采用失效率和平均故障间隔时间作为额外评价指标。失效率(故障率)是指工作到某一时刻尚未失效的产品,在该时刻后,单位时间内发生失效的概率。通常情况下,所谓失效率是指平均失效率,以 λ 表示,其计算如式(3)所示:

式中 M 表示工作时间内出现故障的产品数,N 表示产品总数,Δt 表示工作时间。

平均故障间隔时间反映了产品的时间质量,是体现产品在规定时间内保持功能的一种能力,其计算如式(4)所示:

式中 λ 表示平均失效率。

值得注意的是,BCI 技术在不断发展中,不同应用领域的 BCI 产品关注点差异较大。因此,为了设计用户满意度高的 BCI 产品,除了本文建议的评估指标外,还可以采用任何其他有效的方法进行评价。

6、总结

虽然 BCI 研究发展迅速,取得了许多重要的进展,但目前 BCI 产品难以落地,用户使用 BCI 系统的体验感和满意度仍然达不到其要求。为缓解此问题,需要充分考虑 BCI 人因工程,执行以人为中心的设计和评价方法。本文从 BCI 的目标出发,以人为中心,提出 BCI 人因工程的目标,详细论述了 BCI 人因工程要素以及以人为中心的 BCI 设计和评价方法。此外,还提出了 BCI 人因工程的另外一个重要方面——BCI 系统的智能化。最后,概述了 BCI 人因工程的其他事项,介绍了 BCI 的应用前景和商业价值。期望本文论述的 BCI 人因工程理念和方法对缩小研究与实际应用之间的差距起到一定的作用。

利益冲突声明:本文全体作者均声明不存在利益冲突。

本文经授权转载,未经允许禁止其它二次转载

参考文献

吕晓彤, 丁鹏, 李思语, 龚安民, 赵磊, 钱谦, 苏磊, 伏云发. 脑机接口人因工程及应用:以人为中心的脑机接口设计和评价方法. 生物医学工程学杂志, 2021, 38(2): 210-223. doi: 10.7507/1001-5515.202101093

你可能感兴趣的:(脑机接口与脑电数据处理,经验分享,其他,程序人生,科技)