三维目标检测算法总结

文中有参考微信文章，侵删！！

经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景，继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而，由于图像是三维空间在光学系统的投影，仅仅实现图像层次的识别是不够的，这在无人驾驶系统、增强现实技术等领域表现的尤为突出，计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态，通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来，借助于二维图像层面的目标检测和识别的性能提升，针对如何恢复三维空间中物体的形态和空间位置，研究者们提出了很多有效的方法和策略。
相比2D目标检测问题，进行物体在3D空间的位置估计对于实际应用场景更有意义。通过估计实际位置，自主驾驶的车辆和机器人可以准确的预判和规划自己的行为和路径，避免碰撞和违规。同时，3D目标检测问题也面临更多的挑战，主要的区别在于不仅要找到物体在图像中出现的位置，还需要反投影到实际3D空间中，需要有绝对的尺寸估计。对于视觉3D目标估计，采用扩展图像目标检测算法的深度学习模型对于3D检测具有重要帮助，但是加入空间几何关系的约束是非常必要的前提，不仅可以提升检测精度，也可以去除可能的无意义的错检。而如何结合稠密匹配算法以及3D重建中的集束调整技术，对于进一步提升3D目标检测精度必然具有重要作用。
三维目标检测在自主驾驶汽车视觉感知系统中占有重要地位。现代自动驾驶汽车通常配备多个传感器，如激光雷达和摄像头。激光扫描器的优点是深度信息准确，而相机可以保存更详细的语义信息。通过图像、雷达、深度相机等信号可以检测和识别三维场景信息，从而帮助计算机确定自身与周围物体的位置关系，做出正确的运动交互和路径规划。从相机得到图像信息，需要正确计算图像点与三维点的对应关系，而雷达和深度相机可以直接得到点云或者点的空间位置。可以将三维目标检测数据按照输入数据分为图像数据和点云数据，按照传感器类型分为单目相机、双目相机、多目相机、雷达扫描、深度相机和红外相机。一般而言，由多目相机组成的立体视觉系统或者激光雷达可以实现更准确的3D推理信息，但单目RGB相机设备更方便，更便宜。使用单目摄像头进行三维物体检测是经济型自动驾驶系统合理选择。
三维目标检测算法按照数据划分为三个类别，即单目图像，多视图图像（视图或立体数据），点云。基于单视图的方法，例如，[1],使用单目摄像头完成三维目标检测。基于多视图的方法，例如，[2]，可以使用从不同视图的图像中得到的视差来获得深度图。基于点云的方法，例如[3,4,5,6]，从点云获取目标信息，是比较直观和准确的三维目标检测方法，由于点的深度数据可以直接测量，三维检测问题本质上是三维点的划分问题。相比于使用雷达系统或者深度相机，使用摄像机系统成本更低，但是需要进行图像点的反投影，计算点在空间中的位置。除此之外，相比于点云数据，图像恢复深度可以适用于室外大尺度场景，这是普通深度相机所不能达到的。
1、单目图像
由射影几何学，仅仅依赖一副图像是无法准确恢复物体的三维位置，即使能得到相对位置信息，也无法获得真实尺寸。因此，正确检测目标的3D位置最少需要多个相机或者运动相机组成的立体视觉系统，或者由深度相机、雷达等传感器得到的3D点云数据。
对于特定类型目标，基于机器学习的方法使得通过单目相机进行物体3D检测成为可能。原因是特定类型目标往往具有很强的先验信息，因此依靠给真实物体做标注，联合学习物体类别和物体姿态可以大概估计出物体3D尺寸。不过，为了更好的估计物体的3D位置，更好的方法是结合学习的方法充分融合射影几何知识，来计算物体在真实世界中的尺度和位置。
A. Mousavian在CVPR2017提出了一种结合深度神经网络回归学习和几何约束的3D目标(主要针对车辆)检测和3维位置估计的算法[7]。论文中对车辆的三维姿态和位置进行建模，需要知道车辆在场景中的位置和车辆相对于摄像机的角度，以及车辆的尺寸大小。回归计算方位角和物体尺寸，利用投影公式，计算中心点向量。
GS3D[1]是基于引导和表面的三维车辆检测算法，由香港中文大学Buyu Li等完成，其思想为：首先预测二维检测框和观测角度；然后基于场景先验，生成目标的粗糙边界框，再将边界框重投影到图像平面，计算表面特征；最后通过子网络，由重投影特征进行分类学习，得到精细化的三维检测框。
通过2D探测器有效地确定预测对象的粗糙边界框。虽然粗糙，但可以接受。其精确度可以指导确定空间位置，尺寸（高度，宽度，长度）和物体的方向等。提取不同可见表面的特征，然后加以合并，因此结构信息被用来区分不同的三维边界框。将传统回归的形式重新表述为分类的形式，并为其设计了质量敏感的损失函数。主要贡献在于，基于可靠的二维检测结果，GS3D是一种纯单目摄像头的方法。可以有效为物体获取粗糙边界框。粗糙边界框提供了对象的位置大小和方向的可靠近似，并作为进一步优化的指导；利用投影在二维图像上的三维框的可见表面的结构信息，然后利用提取的特征解决模糊问题；设计比较之后发现基于质量敏感的损失的离散分类的效果要更好。
基于YOLO的三维目标检测：YOLO-6D[8]是一种使用一张2D图像来预测物体6D姿态的方法。但是，并不是直接预测6D姿态，而是通过预测3D编辑框在二维图像上的1个中心点和8个角点，然后在有九个点通过PNP算法计算得到6D姿态。把预测6D姿态问题转为了预测9个坐标点的问题。而在2D的目标检测中，我们实际上也是需要预测坐标点xy的。那么，我们能不能把目标检测框架拿来用呢？很显然是可以的。所以这篇文章就提出基于yolo的6D姿态估计框架。
2、双（多）视图图像
对于双目立体视觉，进行合理的双目匹配，通过相机之间的相对位置计算，可以得到比单目视觉更强的空间约束关系，因此结合已有的物体先验知识，可能得到比单目相机更准确的检测结果。
基于3DOP的3D目标检测[9]采用类似于Fast R-CNN的二步检测算法。对于具有2幅成对图像的双目立体视觉图像。首先，采用Yamaguchi在ECCV2014年发表的方法[10]计算每个点的深度图像，由此生成点云数据，后续的处理是基于点云做为处理和输入数据。然后，采用Struct-SVM优化的方法选择3D检测的候选3D框y。最后，通过R-CNN方式，对每个候选框进行分类评估和位置回归。在此处考虑像素的深度数据，为了处理深度数据，可以直接在输入图像中增加深度数据图像，也可以采用双分支架构的判别和回归网络。但是这种双分支训练时需要更大的显存。
基于立体视R-CNN的3D目标检测算法是扩展 Faster-RCNN网络框架到双目立体视觉进行3D目标检测的方法[11]。方法的关键步骤是对左右图像的自动对齐学习，以及通过稠密匹配优化最终的检测结果。由左右视图图像经过2个相同的Faster-RCNN中的RPN结构计算左右视图中匹配的推送(proposals)矩形框stereo-RPN。RPN主干网络采用Resnet-101或者FPN。与Faster-RCNN中的RPN相比，stereo-RPN同时计算了可能的2D框，并且对左右视图的2D框进行了配对(association)。
3、点云
三维点云数据是由无序的数据点构成一个集合来表示。在使用图像识别任务的深度学习模型处理点云数据之前，需要对点云数据进行一些处理。目前采用的方式主要有两种：一种是将点云数据投影到二维平面。此种方式不直接处理三维的点云数据，而是先将点云投影到某些特定视角再处理，如前视视角和鸟瞰视角。同时，也可以融合使用来自相机的图像信息。通过将这些不同视角的数据相结合，来实现点云数据的认知任务。比较典型的算法有MV3D和AVOD。一种是将点云数据划分到有空间依赖关系的voxel。此种方式通过分割三维空间，引入空间依赖关系到点云数据中，再使用3D卷积等方式来进行处理。这种方法的精度依赖于三维空间的分割细腻度，而且3D卷积的运算复杂度也较高。不同于以上两种方法对点云数据先预处理再使用的方式，PointNet是直接在点云数据上应用深度学习模型的方法。
PointNet系列论文首先提出了一种新型的处理点云数据的深度学习模型，并验证了它能够用于点云数据的多种认知任务，如分类、语义分割和目标识别。PointNet的关键流程为：输入为一帧的全部点云数据的集合，表示为一个n×3的张量，其中n代表点云数量，3对应xyz坐标；输入数据先通过和一个T-Net学习到的转换矩阵相乘来对齐，保证了模型的对特定空间转换的不变性；通过多次mlp对各点云数据进行特征提取后，再用一个T-Net对特征进行对齐；在特征的各个维度上执行max-pooling操作来得到最终的全局特征；对分类任务，将全局特征通过mlp来预测最后的分类分数；对分割任务，将全局特征和之前学习到的各点云的局部特征进行串联，再通过mlp得到每个数据点的分类结果。
受到CNN的启发，作者提出了PointNet++，它能够在不同尺度提取局部特征，通过多层网络结构得到深层特征。PointNet++关键部分包括：采样层，组合层和特征提取层。上述各层构成了PointNet++的基础处理模块。如果将多个这样的处理模块级联组合起来，PointNet++就能像CNN一样从浅层特征得到深层语义特征。对于分割任务的网络，还需要将下采样后的特征进行上采样，使得原始点云中的每个点都有对应的特征。这个上采样的过程通过最近的k个临近点进行插值计算得到。
PointNet和PointNet++主要用于点云数据的分类和分割问题，Frustum-PointNet（F-PointNet）[12]将PointNet的应用拓展到了3D目标检测上。目前单纯基于Lidar数据的3D目标检测算法通常对小目标检测效果不佳，为了处理这个问题，F-PointNet提出了结合基于图像的2D检测算法来定位目标，再用其对应的点云数据视锥进行bbox回归的方法来实现3D目标检测。从KITTI数据集的检测结果来看，得益于精确的基于图像的2D检测模型，F-PointNet对小目标的检测效果确实处于领先地位。F-PointNet由2D目标检测模型和3D分割和回归网络构成，并非为端到端的模型。可以考虑将其组合成一个端到端的网络。
基于点云数据，PointRCNN[6]实现了纯粹使用点云数据完成三维目标检测任务。PointRCNN是香港中文大学发布的3D目标检测框架，整个框架包括两个阶段：第一阶段使用自下而上的3D提案产生，第二阶段用于在规范坐标中修改提案获得最终的检测结果。Stage-1阶段子网络不是从RGB图像或者将点云投影到鸟类视图或者体素中，而是通过将整个场景的点云分割为前景点和背景点，以自下而上的方式直接从点云生成少量高质量的3D提案。Stage-2阶段子网络将每个提案的池化的点转换为规范坐标，更好地学习局部空间特征，这个过程与Stage-1中学习每个点的全局语义特征相结合，用于Box优化和置信度预测。对KITTI数据集的3D检测基准的广泛实验表明，该架构优于只是用点云作为输入具有显著边缘的最先进方法。
用于点云的目标检测方法，精度较高的还有港中文&商汤科技发表的Part-A2 Net[14]，而海康威视的Voxel-FPN[13]单论mAP只能说勉强接近SOTA水平，但论文mAP与FPS的Trade-off，50 FPS的速度，还是强压其他算法的。

参考文献
[1] Li B , Ouyang W , Sheng L , et al. GS3D: An Efficient 3D Object Detection Framework for Autonomous Driving[J]. 2019.
[2] X. Chen, K. Kundu, Y. Zhu, H. Ma, S. Fidler, and R. Urtasun. 3d object proposals using stereo imagery for accurate object class detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017.
[3] C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas. Frustum pointnets for 3d object detection from rgb-d data. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
[4] Y. Zhou and O. Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.
[5] J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. Waslander. Joint 3d proposal generation and object detection from view aggregation. IROS, 2018.
[6] Shi S , Wang X , Li H . PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud[J]. In IEEE CVPR, 2019.
[7]A. Mousavian, D. Anguelov, J. Flynn, J. Kosecka, “3d bounding box estimation
using deep learning and geometry”. In CVPR 2017, 5632-5640.
[8] Tekin B , Sinha S N , Fua P . Real-Time Seamless Single Shot 6D Object Pose Prediction[J]. 2017.
[9]A. Mousavian, D. Anguelov, J. Flynn, J. Kosecka, “3d bounding box estimation using deep learning and geometry”. In CVPR 2017, 5632-5640.
[10]K. Yamaguchi, D. McAllester, and R. Urtasun, “Efficient joint segmentation, occlusion labeling, stereo and flow estimation,” in Proc. Eur. Conf. Comput. Vis., 2014, pp. 756–771.
[11]P. Li, X. Chen, S. Shen. “Stereo R-CNN based 3D Object Detection for Autonomous Driving”. CVPR 2019.
[12] Qi C R , Liu W , Wu C , et al. Frustum PointNets for 3D Object Detection from RGB-D Data[J]. 2017.
[13] Wang B , An J , Cao J . Voxel-FPN: multi-scale voxel feature aggregation in 3D object detection from point clouds[J]. 2019.
[14] Shi S , Wang Z , Wang X , et al. Part-A^2 Net: 3D Part-Aware and Aggregation Neural Network for Object Detection from Poin Cloud[J]. 2019.