轨迹预测Leapfrog Diffusion Model for Stochastic Trajectory Prediction

结构速览

  • 论文速读
    • 解决什么问题
    • 解决这个问题的几个关键点
      • 总体架构上面提出了哪些创新
      • 如何实现蛙跳
      • 如何处理轨迹表达和训练问题
  • 0.Abstract
  • 1. Introduction
          • 第一段(介绍轨迹预测这个研究方向)
          • 第二段(前人未来轨迹预测方面的研究有哪些)
          • 第三段()
  • 2. Related Work
    • 2.1Trajectory prediction.
  • 3. Background
    • 3.1. Problem Formulation
          • 第一段
          • 第二段(因为未来的可能性多种多样,这里的任务一般会被扩增为预测多种可能)
    • 3.2. Diffusion Model for Trajectory Prediction
          • 第一段(简单介绍这里的内容和本文研究内容的关系)
          • 第二三段(介绍扩散过程,目前看和正常的扩散模型类似)
          • 第四段(扩散模型预测阶段太慢了,作者以此引出自己的研究)
  • 4. Leapfrog Diffusion Model
    • 4.1. System Architecture
    • 4.2. Leapfrog Initializer 蛙跳初始化器
          • 第一段(讲述跳跃预测的方案)
          • 第二段(详细分析各个模型的功能)
          • 第三段(从理论上分析这样做的好处)
          • 第四段(介绍网络具体设置)
    • 4.3. Denoising Module
          • 第一段(介绍降燥模型的设计逻辑)
    • 4.4. Training Objective
          • 第一段(作者在训练的过程中分成两个阶段,一个阶段训练扩散模型,另外一个阶段训练跳步,这样的训练为了避免不稳定训练,也就是两个都在变,那就没法训练了。)
          • 第二段(讲扩散模型的训练)
          • 第三段(讲蛙跳初始化怎么训练的)
          • 第四段(讲述为什么不直接训练蛙跳)
    • 4.5. Inference Phase 推段阶段
          • 讲述推断阶段(就是先蛙跳,再扩散,没有太多内容)

论文速读

CVPR2023
暂时没有上传的开源代码:https://github.com/mediabrain-sjtu/led

解决什么问题

解决实时性问题,扩散模型用在扩散生成当中,虽然取得了很好的预测效果,但是由于扩散模型预测阶段耗时高,影响了未来轨迹预测的实时性。因此作者采用蛙跳的方式加速这个过程。

解决这个问题的几个关键点

总体架构上面提出了哪些创新

直接使用一个网络跳过扩散模型开始的步骤,并且这个跳过的步骤还比较特殊,跳出的结果直接就是一个轨迹集合了。

这里作者说了三个关键点:
1)这里初始跳跃的时候将直接跳过了噪声到轨迹,跳跃的结果就是一些轨迹,之后再从这些轨迹开始扩散;
2)这种方法可以在预测的过程中让输出的这些K个轨迹彼此之间有感知,知道对方是什么情况。
3)作者设计的跳跃扩散模型和普通的扩散模型,都具有最后的逐步降燥的过程,保证了生成数据的质量。
轨迹预测Leapfrog Diffusion Model for Stochastic Trajectory Prediction_第1张图片

如何实现蛙跳

直接使用蛙跳进行

如何处理轨迹表达和训练问题

0.Abstract

To model the indeterminacy of human behaviors, stochastic trajectory prediction requires a sophisticated multi-modal distribution of future trajectories. Emerging diffusion models have revealed their tremendous representation capacities in numerous generation tasks, showing potential for stochastic trajectory prediction. However, expensive time consumption prevents diffusion models from real-time prediction, since a large number of denoising steps are required to assure

你可能感兴趣的:(生成网络,人工智能,深度学习,机器学习)