【论文概述】ImVoteNet (2020)

论文信息

题目：ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes

论文链接

问题导入

如何有效利用 2D 图片的信息辅助 3D 检测，摒弃了此前的级联思路，利用了 RGB 的几何坐标、语义及像素纹理信息，辅助 3D 点云物体检测。

总体思路

如上图所示，首先，分别对 RGB 和点云利用 2D 检测器和 PointNet++ 得到 2D 框和种子点；其次，将 RGB 中抽取的几何、语义和像素纹理信息提升到 3D 附加到种子点上；最后生成 3D 物体中心的投票，进而估计 3D 框。

论文效果

如上图所示，这是定性分析，在 SUN RGB-D benchmark 上。

如上图所示，这是定量分析， IOU 取0.25，mAP 为 63.4。

如上图所示，这是 RGB 的信息对比实验

总结

这项工作使用 RGB 提供几何，语义和纹理信息作用于3D 投票的过程。通过使用基于梯度混合的多模态的训练方法，ImVoteNet 极大提升了处理稀疏或不友好分布点云的 3D 检测性能。