论文解读 | 超越人类智慧！类脑多模态混合神经网络助力机器人精准定位

原创 | 文 BFT机器人

01

研究内容

这篇论文的研究内容是基于大脑启发的多模态混合神经网络，用于机器人地点识别。研究人员设计了一个名为NeuroGPR的系统，该系统可以模拟大脑的多模态感知机制，从传统和神经形态传感器中编码和整合多模态线索，以实现机器人的地点识别。为了实现这一目标，研究人员使用了多尺度液态状态机等多种神经网络模型，以异步融合多模态信息。研究结果表明，NeuroGPR在机器人地点识别方面表现出更好的性能和鲁棒性，具有广泛的应用前景。

02

论文原理

a.大脑启发的多模态感知机制

研究人员从大脑的多模态感知机制中获取灵，设计了一个基于大脑启发的多模态混合神经网络模型，用于机器人地点识别。该模型可以模拟大脑的多模态感知机制，从传统和神经形态传感器中编码和整合多模态线索，以实现机器人的地点识别。

图1所示。人类和机器人的位置识别机制。

A)人类可以根据具有时空连续性的多态感觉线索来识别一个地方。位置由外部感觉织响和内部连接的时空细的给码。多通消的感觉线索可以共同激活这些细胞。联合放电模式可以唯一地编码和回忆一个特定的地方。

(B) 该机器人可以识别一个地方的大脑启发的地方识别系统，simiarlv的机器人可以使用多模态传感器获得环境的感官线索。一个部署在一个神经形态计算芯片上的mhnn模型被用来对这些感觉线索进行码，该模型可以用多时空尺度的融合方法对位置进行可第的识别。

b.多尺度液态状态机

研究人员引入了多尺度液态状态机等多种神经网络模型，以异步融合多模态信息。这些模型可以在不同的时间尺度和空间尺度上处理信息，从而提高了信息处理的效率和准确性。

c.混合神经芯片

研究人员在Tianjic等混合神经芯片上实现了NeuroGPR系统，并将其集成到四足机器人中进行测试。混合神经芯片具有并行计算和低功耗等优点，适用于移动机器人等资源受限的场景。

图2.神经地质雷达系统的体系结构。AJMHNN模型由一个CNN、一个SNN和三个戛纳组成。从感官线索表示中提取多模态特征，并利用MLSM进行多时空尺度融合。

(B)神经地质雷达系统的关键组成部分。该系统由多模态传感器、神经形态计算芯片天极和四足机器人组成。

(C)神经地质雷达系统的管道，主机计算平台专门用于传感器数据采集、数据预处理、机器人控制和数据通信。MHNN被映射并部署在Tianjic上，Tianiic根据查询数据的输入来识别位置。

03

创新点

1. 设计了一个基于大脑启发的多模态混合神经网络模型。

该模型可以模拟大脑的多模态感知机制，从传统和神经形态传感器中编码和整合多模态线索，以实现机器人的地点识别。

2. 引入了多尺度液态状态机等多种神经网络模型，以异步融合多模态信息。

这些模型可以在不同的时间尺度和空间尺度上处理信息，从而提高了信息处理的效率和准确性。

3. 在Tianjic等混合神经芯片上实现了NeuroGPR系统，并将其集成到四足机器人中进行测试。

实验结果表明，NeuroGPR在机器人地点识别方面表现出更好的性能和鲁棒性，具有广泛的应用前景。

4. 通过比较NeuroGPR与传统和现有的基于生物启发的方法，证明了NeuroGPR的优越性。

此外，NeuroGPR还具有低延迟和低功耗等优点，适用于移动机器人等资源受限的场景。

04

实验过程

1.设计和实现NeuroGPR系统。

研究人员设计了一个基于大脑启发的多模态混合神经网络模型，用于机器人地点识别。他们还引入了多尺度液态状态机等多种神经网络模型，以异步融合多模态信息。最后，他们在Tianjic等混合神经芯片上实现了NeuroGPR系统，并将其集成到四足机器人中进行测试。

2. 进行地点识别实验。

研究人员在不同的环境中测试了NeuroGPR系统的地点识别能力，包括走廊、楼梯、森林等场景。他们使用传统和神经形态传感器获取多模态线索，并将其输入到NeuroGPR系统中进行处理和识别。实验结果表明，NeuroGPR在不同的环境中都表现出了较好的地点识别能力。

测试的查询线索的快照

图3所示，实验环境的快照。机器人实验在房间(A)、走廊(C)和森林(E)环境中的快照。房间(B)、走廊(D)和森林(F)环境中用于训练的参考线索

3. 比较NeuroGPR与传统和现有的基于生物启发的方法。

研究人员将NeuroGPR与传统的视觉SLAM方法和现有的基于生物启发的方法进行了比较，实验结果表明，NeuroGPR在地点识别方面表现出了更好的性能和鲁棒性。

4. 测试NeuroGPR在移动机器人上的应用。

研究人员将NeuroGPR集成到四足机器人中进行测试，实验结果表明，NeuroGPR在移动机器人上的应用具有低延迟和低功耗等优点，适用于资源受限的场景。

05

比较NeuroGPR与传统和现有的基于生物启发的方法

研究人员在不同的环境中测试了NeuroGPR和其他方法的地点识别准确性，实验结果表明，NeuroGPR在地点识别方面表现出了更好的性能和鲁棒性。

研究人员在Tianjic等混合神经芯片上测试了NeuroGPR和其他方法的计算效率，实验结果表明，NeuroGPR具有更低的延迟和功耗，适用于移动机器人等资源受限的场景。

研究人员测试了NeuroGPR和其他方法在不同的环境和条件下的鲁棒性，例如光照变化、天气变化、运动模糊等，实验结果表明，NeuroGPR具有更好的鲁棒性和适应性。

图4，对环境变化鲁棒性的实验结果。同模块对清华大学森林数据集A)、布里斯班事PR数集(B)和走廊数据集)识别精度的影响。在房间数据集D)、走廊数据集(E)和Brisbane-Event-PR数据集(F)上评估不同模型的识精度。的平均误差和SD的基础上，在五个实验中获得的结果。

06

进行计算性能测试的步骤

1.在Tianjic等混合神经芯片上测试NeuroGPR系统的计算性能。

研究人员使用Tianjic等混合神经芯片测试了NeuroGPR系统的计算性能，包括计算延迟和功耗等指标。他们还将NeuroGPR系统与其他常用的移动机器人处理器进行了比较，以评估其计算性能的优劣。

图5，计算效率和精度的实验结果。处理单个NN工作负载(A)和多NN工作负载(B)的延迟计算。(C)多神经络负荷试验下加工MHNN的功耗.D)神经地质雷在机器人上运行的准确性。基于不同数据集的位置识别精度(E)、查全率(F)和查全率曲线(G和H)。平均误差和SDS是根据五个实验的结果得出的。

2. 在其他常用的移动机器人处理器上测试NeuroGPR系统的计算性能。

研究人员在其他常用的移动机器人处理器上测试了NeuroGPR系统的计算性能，包括NVIDIA Xavier NX和AGX Orin等处理器。他们使用NVIDIA tegrastats等工具获取了这些处理器的计算延迟和功耗等指标，并将其与Tianjic等混合神经芯片进行了比较。

07

结论

1.NeuroGPR系统在不同的环境中都表现出了较好的地点识别能力，具有较高的准确性和鲁棒性。

2.与传统的视觉SLAM方法和现有的基于生物启发的方法相比，NeuroGPR在地点识别方面表现出了更好的性能和鲁棒性。

3.NeuroGPR在移动机器人上的应用具有低延迟和低功耗等优点，适用于资源受限的场景。

4.在计算性能测试中，NeuroGPR具有更低的延迟和功耗，适用于移动机器人等资源受限的场景。

08

社会意义

该研究成果对促进机器人技术发展、推动人工智能技术进步、以及促进人机交互技术的发展中都具有重要的意义，并且该系统还可以在各行各业中广泛运用，以下四个领域为例：

1. 机器人导航和环境感知。

NeuroGPR系统可以帮助机器人在未知环境中进行自主导航和地点识别，从而提高机器人的智能化水平和工作效率。

2. 智能制造和自动化控制。

NeuroGPR系统可以用于智能制造中的自动化控制和质量检测，从而提高生产效率和产品质量。

3. 智能家居和智能城市。

NeuroGPR系统可以用于智能家居、智能城市和智能交通等领域，以提高人们的生活质量和城市的可持续发展。

4. 医疗保健和辅助生活。

NeuroGPR系统可以用于医疗保健和辅助生活领域，例如帮助残障人士进行自主移动和生活，提高他们的生活质量。

由此可见，NeuroGPR系统具有广泛的应用前景，可以帮助解决许多行业的实际问题，提高生产效率和提升人们的生活质量。

更多精彩内容请关注公众号：BFT机器人


本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。