AgentFormer: Agent-Aware Transformers for Socio-Temporal Multi-Agent Forecasting

摘要

预测多个智能体的准确未来轨迹对于自治系统至关重要，但由于智能体之间复杂的相互作用以及每个智能体未来行为的不确定性，这是一个挑战。预测多智能体轨迹需要对两个关键维度进行建模:(1)时间维度，我们对过去的智能体状态对未来状态的影响进行建模；(2)社会维度，我们对每个主体的状态如何影响他人进行建模。大多数现有方法分别对这两个维度建模，例如，首先使用时间模型独立地总结每个代理随时间变化的特征，然后用社会模型对总结的特征的交互进行建模。这种方法是次优的，因为时间或社会维度上的独立特征编码会导致信息丢失。相反，我们更喜欢一种方法，允许一个代理在某个时间的状态直接影响另一个代理在未来某个时间的状态。为此，我们提出了一种新的变压器，称为代理变压器，它同时模拟了时间和社会维度。该模型通过跨时间和代理展平轨迹特征来利用多代理轨迹的序列表示。由于标准的注意操作忽略了序列中每个元素的代理身份，因此AgentFormer使用了一种新颖的代理感知注意机制，该机制通过以不同于其他代理的方式关注同一代理的元素来保护代理身份。在AgentFormer的基础上，我们提出了一个随机多智能体轨迹预测模型，该模型在推断智能体的未来位置时，可以关注任意智能体在任意先前时间步长的特征。所有代理的潜在意图也被联合建模，允许一个代理行为的随机性影响其他代理。大量实验表明，我们的方法显著提高了行人和自动驾驶数据集的技术水平。