ACM MM 2023 | 中科院自动化所何晖光课题组提出多视图对比学习技术助力实现基于EEG的听觉注意解码...

中科院自动化所神经计算与脑机交互团队（NeuBCI）基于多视图VAE，结合认知神经科学的先验知识，提出了一种基于多视图任务相关对比学习的听觉注意力解码模型。相关研究成果以Auditory Attention Decoding with Task-Related Multi-View Contrastive Learning为题发表于31st ACM International Conference on Multimedia (ACM MM 2023)。

论文地址：https://arxiv.org/abs/2308.04244

在鸡尾酒会等场景中，人类大脑可以很容易地将注意力集中在一个说话人身上，而抑制其他声音。最近，越来越多的工作尝试从大脑信号中解码出听觉注意力。然而，现有的基于深度学习的工作并没有利用认知神经科学的先验知识去提取与任务更相关的表征。近日，中科院自动化所的陈晓宇、杜长德等人利用多视图学习方法解码听觉注意力，并利用对比学习将认知神经科学的先验知识融入模型，提取到了近似任务相关表征，提升了解码精度。

图1. 左图为鸡尾酒会场景的示意图（图片来自《了不起的盖茨比》，Warner Bros. Pictures and Roadshow Films）。右图为听觉注意力解码任务常用的双说话人范式。

事实上，根据Broadbent's filter model，我们知道，人类大脑中的注意力处理系统有一个早期选择过程，该过程使用选择性过滤器来避免不相关的信息参与更高级别的处理。以双说话人范式为例，被试在实验时将同时听到两个说话人的语音，并选择注意一个。这时，人脑的早期选择过程则会过滤未被注意的语音，使其不参与后续更高级别的处理。

图2. 本文提出的多视图任务相关对比学习-VAE框架（简称TMC-VAE）

受这一模型的启发，研究团队认为，在构建听觉注意力解码的表征空间时，被注意的说话人语音以及被试的大脑信号应被视为与听觉注意力解码任务更相关的视图，而未被注意的说话人语音则应被视为不相关的视图。基于多视图VAE的框架，研究团队利用上述思路构建了任务相关表征，并利用对比学习，引导多视图VAE学习的表征去近似任务相关表征，进而获得更好的解码效果。

图3. 利用对比学习，引导多视图VAE学习到的全模态表征去近似任务相关表征（即被注意的语音以及被试脑信号融合出来的表征）

为了验证上述想法，研究团队首先利用实验验证了任务相关表征在测试集上的解码效果。

表1. 基于任务相关表征对听觉注意力进行解码的准确率。

从表1可以看出，基于被注意的说话人语音以及被试的大脑信号构建的任务相关表征空间，可以很好的对被试的注意力进行表征，从而得到极高的解码准确率。同时，图4的可视化结果也证明了任务相关表征的优势。

图4. 任务相关表征的可视化

但由于任务相关表征的提取，需要利用到标签信息，因此无法在测试集上使用。研究团队在随后的实验中，在两个常用的开源听觉注意力解码数据集上进行了实验，对文中提出的利用对比学习提取近似任务相关表征的方法进行了评估。实验结果显示文中提出的TMC-VAE算法在3秒窗长下的解码准确率超过现有SOTA方法。

表2. 在KUL和DTU数据集上，不同解码窗长（2秒、3秒）下的解码准确率对比。

随后，研究团队又在多种多视图VAE的基础上，实验了这种近似任务相关表征的方法。实验结果显示，近似任务相关表征的方法，可有效提升多视图VAE的解码准确率。

表3. 不同的多视图VAE框架，结合任务相关表征后的解码准确率。

图5. 不同的多视图VAE框架，结合任务相关表征前后的隐空间可视化。

综上，本文提出了一种基于近似任务相关表征的听觉注意力解码算法。该方法受到Broadbent's filter model的启发，利用对比学习，引导多视图VAE的表征空间去近似任务相关表征，从而提升解码准确率。实验结果表明，这种方法在3秒解码窗长下解码准确率超过SOTA模型。研究团队认为，听觉注意力解码的任务范式与多视图算法之间存在很强的相关性，尝试从多视图的角度解决这一任务有着很大的前景。

该论文第一作者为中国科学院自动化所博士研究生陈晓宇，共同第一作者为杜长德副研究员，通讯作者为何晖光研究员。研究工作得到了科技部科技创新2030—“脑科学与类脑研究”重大项目、国家自然科学基金以及CAAI-华为MindSpore学术奖励基金的支持。

来源：

https://arxiv.org/abs/2308.04244

---

仅用于学术分享，若侵权请留言，即时删侵！

更多阅读

重磅突破！UC伯克利：脑机接口根据大脑活动重建音乐

上海交大教授卢策吾深度解读“具身智能”

预见2023：《2023年中国脑机接口行业全景图谱》

这个脑机接口实现每分钟超60个单词的意念说话

哈佛研究人员说：柔性水凝胶电极也许是脑机接口的下一步

人类意识的大脑模式

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

点个在看祝你开心一整天!