【论文阅读】Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation

摘要

本文提出了一种新颖的、针对立体图像对的 3D 目标检测系统 —— Disp R-CNN。近期的许多工作都是首先通过视差估计恢复点云，然后应用 3D 检测器来解决该问题。视差图是对整张图像计算得到的，不但成本很高，而且未能利用特定类别的先验信息。相比之下，我们设计了一个实例视差估计网络 (iDispNet)，该网络仅预测感兴趣目标物体的像素视差，并学习特定类别的形状先验，以获得更精确的视差估计。为克服训练中视差标注不足的挑战，我们提出使用一种无需 LiDAR 点云的统计形状模型 (statistical shape model) 来生成稠密的视差伪真值 (pseudo-ground-truth)，使我们的系统更具广泛的应用前景。在 KITTI 数据集上的实验表明，即使在训练时无法获得 LiDAR 真值，Disp R-CNN 也能取得具有竞争力的性能表现，且相较先前的 SOTA 方法在  AP 上提高了 20% 。

实例视差估计系统

Disp R-CNN 网络结构

看来是基于 Stereo R-CNN 和 Pseudo LiDAR 结合的 3D 目标检测网络，其中的实例视差估计网络和统计形状模型都挺有意思，有空值得仔细阅一下。

论文链接：https://arxiv.org/pdf/2004.03572.pdf

代码地址：https://github.com/zju3dv/disprcnn