论文阅读笔记:(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?

DD3D(Dense Depth-pre-trained 3D Detector)发表在了iccv 2021上,是目前(2022.01)性能最好的单目3D目标检测模型之一,值得一看。

论文:ICCV 2021 Open Access Repositoryhttps://openaccess.thecvf.com/content/ICCV2021/html/Park_Is_Pseudo-Lidar_Needed_for_Monocular_3D_Object_Detection_ICCV_2021_paper.html

代码:https://github.com/TRI-ML/dd3dhttps://github.com/TRI-ML/dd3d精度对比:

KITTI Cars Moderate Benchmark (Monocular 3D Object Detection) | Papers With Code

论文阅读笔记:(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?_第1张图片

主要观点和贡献:

1. PL的主要局限是需要in-domain的depth fine-turning(两段式的结构没有办法啊),否则效果很差(不过我觉得就是, 你既然都去标注3D框了,再投影生成depth map也比较简单了吧)

2. 本文的方法,应该就是快吧,比如有一堆新数据要训练,PL的方法还要先fine turn一下深度网络,DD3D直接训练3D检测就可以了;

实现方式

论文阅读笔记:(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?_第2张图片

1. 结构上重FCOS修改而来, 主要是增加了3D检测头,比较明确 (其实head有点多,真正做inference的时候不用那么多吧);

2. loss:

论文阅读笔记:(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?_第3张图片

3. 训练, 比较麻烦:

在coco上训练2D(或者用训练好的)-> depth-pre-train  -> 3D bbox训练

你可能感兴趣的:(感知,3d,目标检测,计算机视觉)