3D目标检测——最新多模态融合算法综述

激光雷达lidar+相机camera融合的算法综述

纵观各大榜单KITTI，nuScenes等，lidar+camera等多种方法慢慢向榜单前面移动，精度的不断提升也说明了当前多模态融合有了一定喜人的进步。
本文总结CVPR，ECCV等多种包括 feature-fusion & late-fusion 的算法进行总结。希望可以给对当前领域有兴趣的朋友们一些帮助，也欢迎随时交流～

整体框图

下面思维导图对当前各种融合算法进行了整体的总结和概括：

其中特征融合现阶段主要指在特征层面进行的中融合即 feature-fusion，标红的两种方法为当前经多种实验证明有效的方法：

• 点云点与图像特征图融合；
• 点云点与图像语义分割结果的融合；

决策融合列举了当前SOTA的一种方法进行介绍。

精度对比

可以看到最下面的决策融合算法CLOCs具有纸面上最高的mAP，同样特征融合3D-CVF也是纸面上最好的检测方法，另外未在表单上展现的EPNet也是一个具有很好检测效果的特征融合算法。

实验

为了检测短发与模型的有效性，在2080Ti上进行了训练与检测，得到的效果如下：

CLOCs训练55epoch：

• Car [email protected], 0.70, 0.70:
  bbox AP:99.33, 93.75, 92.89（2D框）
  bev AP:96.51, 92.37, 89.41（鸟瞰图视角）
  3d AP:92.74, 82.90, 77.75 （3D框）
  aos AP:99.17, 93.29, 92.11（物体旋转角）
• Car [email protected], 0.50, 0.50:
  bbox AP:99.33, 93.75, 92.89
  bev AP:99.38, 96.27, 95.56
  3d AP:99.55, 96.19, 95.34
  aos AP:99.17, 93.29, 92.11

EPNet训练46epoch：

未添加iou branch

• Car [email protected], 0.70, 0.70:
  bbox AP:98.5846, 94.1345, 92.1288
  bev AP:95.8837, 89.0226, 88.4930
  3d AP:92.1627, 82.6856, 80.1048
  aos AP:98.45, 93.72, 91.52
• Car [email protected], 0.50, 0.50:
  bbox AP:98.5846, 94.1345, 92.1288
  bev AP:98.6033, 94.5425, 94.2854
  3d AP:98.5904, 94.4841, 94.1361
  aos AP:98.45, 93.72, 91.52

添加iou branch

• Car [email protected], 0.70, 0.70:
  bbox AP:98.4230, 93.9888, 92.0130
  bev AP:95.7430, 88.4292, 88.3442
  3d AP:92.5021, 82.4546, 80.2938
  aos AP:98.30, 93.59, 91.49
• Car [email protected], 0.50, 0.50:
  bbox AP:98.4230, 93.9888, 92.0130
  bev AP:98.4348, 94.1680, 94.1338
  3d AP:98.4253, 94.1063, 93.9804
  aos AP:98.30, 93.59, 91.49

博主也对CLOCs进行一定阐述，欢迎移步：https://blog.csdn.net/Oreooooo/article/details/118415278