论文阅读笔记：(2021.08, iccv) Is Pseudo-Lidar needed for Monocular 3D Object detection?

DD3D（Dense Depth-pre-trained 3D Detector）发表在了iccv 2021上，是目前（2022.01）性能最好的单目3D目标检测模型之一，值得一看。

论文：ICCV 2021 Open Access Repositoryhttps://openaccess.thecvf.com/content/ICCV2021/html/Park_Is_Pseudo-Lidar_Needed_for_Monocular_3D_Object_Detection_ICCV_2021_paper.html

代码：https://github.com/TRI-ML/dd3dhttps://github.com/TRI-ML/dd3d精度对比：

KITTI Cars Moderate Benchmark (Monocular 3D Object Detection) | Papers With Code

主要观点和贡献：

1. PL的主要局限是需要in-domain的depth fine-turning（两段式的结构没有办法啊），否则效果很差（不过我觉得就是， 你既然都去标注3D框了，再投影生成depth map也比较简单了吧）

2. 本文的方法，应该就是快吧，比如有一堆新数据要训练，PL的方法还要先fine turn一下深度网络，DD3D直接训练3D检测就可以了；

实现方式：

1. 结构上重FCOS修改而来， 主要是增加了3D检测头，比较明确 (其实head有点多，真正做inference的时候不用那么多吧)；

2. loss:

3. 训练， 比较麻烦：

在coco上训练2D（或者用训练好的）-> depth-pre-train  -> 3D bbox训练