解锁多模态独特魅力-“机器人+Agent+多传感器融合+3DLLM”诠释终极组合大招！

01-Multiply算法背景

01.01-触觉传感器

触觉传感器是一种用于感知和测量物体接触力、形状、纹理和其他相关参数的传感器。它们模拟人类触觉系统，通过收集和解释物体与传感器之间的相互作用来获取信息。

工作原理：触觉传感器使用不同的原理来感知接触力和其他触觉信息。常见的触觉传感器技术包括压电传感器、电容传感器、电阻传感器、光学传感器和弹性元件等。
接触力测量：触觉传感器能够测量物体施加在其表面的接触力。这些传感器可以提供接触力的大小、方向和分布信息，从而帮助机器人或其他系统感知和控制接触过程。
形状感知：触觉传感器可以检测物体的形状和表面几何特征。通过测量物体与传感器之间的接触区域和接触点的变化，可以推断物体的形状和轮廓。
纹理感知：触觉传感器可以感知物体表面的纹理和细节。通过测量接触区域的微小变化和表面结构的特征，可以获取关于物体纹理的信息。
应用领域：触觉传感器在许多领域中有广泛的应用，包括机器人技术、自动化制造、医疗诊断、虚拟现实和游戏等。它们可用于机器人的抓取和操作、医疗设备的手术辅助、虚拟环境中的触觉反馈以及产品质量控制等。
发展趋势：随着科技的发展和研究的深入，触觉传感器正朝着更高精度、更小尺寸、更灵活和更智能化的方向发展。新的材料、传感技术和数据处理算法的不断涌现，为触觉传感器的进一步创新和应用提供了广阔的空间。
总之，触觉传感器是一项重要的技术，它们允许机器和系统感知和理解物体的触觉信息。通过感知接触力、形状、纹理等参数，触觉传感器为机器人和自动化系统提供了更多的感知能力和交互能力，推动了许多应用领域的创新和发展。

01.02-热感应传感器

热感应传感器是一种用于测量和检测热量变化的传感器。它们基于物体的温度差异来感知热量，并将其转化为电信号或其他形式的输出。

工作原理：热感应传感器利用热量在物体中的传导、辐射和对流等原理来测量温度变化。它们通常由热敏元件和信号处理电路组成。热敏元件可以是热电偶、热敏电阻、热敏电容或红外线传感器等。
测量原理：热感应传感器测量温度变化的方法因传感器类型而异。例如，热电偶通过测量两个不同金属接点之间的温度差异来产生电压信号。热敏电阻则基于电阻值随温度变化而变化，而红外线传感器可以检测物体辐射出的红外线，并将其转化为温度测量。
应用领域：热感应传感器在许多领域中有广泛应用。它们可用于温度监测和控制，如室内温度调节、工业过程控制、电子设备散热管理等。此外，热感应传感器还常用于红外热成像、医疗诊断、火灾探测、环境监测和热能转换等领域。
发展趋势：随着技术的进步，热感应传感器正朝着更高性能、更小尺寸、更低功耗和更多功能集成的方向发展。新的材料、微纳加工技术和先进的信号处理算法的引入，将进一步提高热感应传感器的性能和应用领域。
总之，热感应传感器是一种重要的测量工具，可用于测量和检测温度变化。它们在许多领域中发挥着重要作用，提供温度监测、控制和红外热成像等功能。随着技术的不断进步，热感应传感器将继续发展，为各行各业提供更多应用和创新的可能性。

02-Multiply算法简介
在积极探索3D世界并与之互动的过程中，人类发现增加多种感官传感器可以提供更多有用的线索。然而，当前的多模态大语言模型被动地吸收传感器数据作为输入，缺乏与3D环境中的对象主动交互并动态收集其多感官信息的能力。
为了开启这一领域的研究，作者提出了MultiPLY，它是多传感器嵌入LLM，通过部署嵌入代理来参与3D环境，它对以对象为中心的多传感器表示（例如，视觉、音频、触觉和热）进行编码，从而建立单词、动作和感知之间的相关性。MultiPLY可以执行一组不同的多感官隐含任务，包括多感官问答、隐含问答、任务分解、对象检索和工具使用等。

03-Multiply算法流程

上面的视频展示了MultiPLY算法的整体表框架。作者首先将场景编码为抽象的以对象为中心的特征表示，而对象的多感官细节只有在代理执行动作并与之交互时才会显现。除此之外，作者还设计了一组动作标记，表示代理与环境交互的动作。交互结果通过状态标记附加回LLM，从而生成后续的文本或操作标记。详细的步骤如下所述：

首先，将输入的场景图片送入Concept Graphs中获取3D场景图表示，同时将输入的环境声音转换为相应的语音特征表示。

然后，将这些特征输入到MultiPLY大模型中，通过理解用户的问题来调用相应的感官功能。例如：“甜甜圈可以吃了吗？”，为了回答这个问题，机器人需要根据外部的声音传感器和触觉传感器的反馈来做出相应的分析与应答。

最后，为了回答用户的问题，该大模型首先需要导航到甜甜圈所在的具体位置；并根据微波炉的声音进行判断；最后需要使用触觉传感器来做出相应的结论。
04-Multiply算法应用场景
04.01-声音&视觉感知

04.02-触觉&热红外&导航

04.03-利用工具&多传感器字幕生成

04.04-问答&目标检索

04.05-任务分解&物体重排
05-Multiply算法性能评估
05.01-主观效果性能评估

上图展示了该算法利用多种传感器在特定环境中完成的聊天、QA问答、导航、字幕生成等多个任务的样例。

上图展示了MultiPLY算法的定性效果。MultiPLY可以与具体环境中的物体进行交互，并收集多传感器信息。上图展示了机器人agent通过导航、语音理解、温度传感器等多个传感器来完成特定的任务。

05.02-客观指标性能评估

上表展示了该算法与多个SOTA算法在对象检索任务上面的实验结果。-I表示模型使用oracle操作令牌与环境进行交互。通过观察我们可以发现：与其它的SOTA算法相比，该算法获得了最高的检索准确率，碾压其它的SOTA算法。

上表展示了该算法与多个SOTA算法使用工具的结果。通过观察我们可以发现：基于绑定的方法在工具使用方面的性能非常差。这可能是因为它们将物体的感官数据视为一个整体，无法将材料等个体感官信息从表示中分离出来，更不用说推理如何将这种特性用作工具，以及如何在多感官信息集成时分析和推导物体的功能了。

上表展示了该算法与多个SOTA算法在多传感器字幕任务上面的生成效果。从表中，我们可以看到：基于3D的LLM总体上胜过2D VLM。LLaVA和3D-LLM将整体表示作为输入，因此无法与可以与模型交互以在表示之间切换的模型竞争。MultiPL Y胜过Pointbind LLM，可能是因为Pointbind绑定了不同模态的表示，使感官难以理清。

06-Multiply算法效果展示

图6.1-Multiply算法效果展示1

图6.2-Multiply算法效果展示2