三维点云课程(六)——三维目标检测

目录

1.  图像目标检测

​ 1.1 评价检测好坏

 1.2 物体检测的方法

1.2.1 Two-Stage

 1.2.2 One-Stage

2. 点云目标检测 

2.1 VoxelNet

​2.2 PointPillars

2.3 Point-wise operation

2.3.1 PointRCNN

2.4 Vison Fusion

2.4.1 Frustum PointNet

​2.4.2 PointPainting


1.  图像目标检测

长方体表示:长宽高、中心点、朝向、类别

思路:先检测后分类

 1.1 评价检测好坏

三维点云课程(六)——三维目标检测_第1张图片

 Precision:检测对的概率      Recall:检测到的概率    两者很难兼得三维点云课程(六)——三维目标检测_第2张图片

  • AP(Average Precision)  mAP(Mean over all categories)

三维点云课程(六)——三维目标检测_第3张图片

  • NMS

每一个选择器后面都有一个NMS,选择一个最好的检测框

选择置信度最大的框,再计算其他框与该框的重叠范围IOU,如果大于一定阈值就舍去。

三维点云课程(六)——三维目标检测_第4张图片

 1.2 物体检测的方法

三维点云课程(六)——三维目标检测_第5张图片

1.2.1 Two-Stage

先定位后检测

  • RCNN :本质是一个聚类成框,再对框进行分类。需要对每个框进行分类很慢

三维点云课程(六)——三维目标检测_第6张图片

  •  Fast RCNN

三维点云课程(六)——三维目标检测_第7张图片先对图像提取特征,再ROI Pooling缩放成统一大小,再经过MLP。分类神经网络是工作在Feature map上的。

ROI Pooling具体过程如下,不管框原先大小是什么,最后都缩放成7*7。

三维点云课程(六)——三维目标检测_第8张图片三维点云课程(六)——三维目标检测_第9张图片三维点云课程(六)——三维目标检测_第10张图片ROI Pooling 有精度损失,提出了ROI Align线性插值

三维点云课程(六)——三维目标检测_第11张图片

  • Faster RCNN 

框是深度学习给的

三维点云课程(六)——三维目标检测_第12张图片

  • Mask RCNN  实例分割

三维点云课程(六)——三维目标检测_第13张图片

 1.2.2 One-Stage

 把背景看成一个类,每个地方出3个anchor box ,对每一个进行分类,计算位置。没有了先判断框内是否有物体。三维点云课程(六)——三维目标检测_第14张图片

三维点云课程(六)——三维目标检测_第15张图片

三维点云课程(六)——三维目标检测_第16张图片

2. 点云目标检测 

投影视角

三维网格

投影

2.1 VoxelNet

三维卷积pointnet++

三维点云课程(六)——三维目标检测_第17张图片

三维点云课程(六)——三维目标检测_第18张图片

有许多方格内是没有点的,不需要传入神经网络 ,加速方法如下

三维点云课程(六)——三维目标检测_第19张图片三维点云课程(六)——三维目标检测_第20张图片

  • Data Augmentation

1、对整体点云旋转,但不能旋转太多

三维点云课程(六)——三维目标检测_第21张图片

2、 对目标进行平移旋转,也不能太多 

三维点云课程(六)——三维目标检测_第22张图片2.2 PointPillars

三维点云课程(六)——三维目标检测_第23张图片空间一堆柱子,每一个柱子压缩成一个平面 

三维点云课程(六)——三维目标检测_第24张图片

  • Focal Loss

解决类别不均衡问题,正常情况比较少的类别会被忽略,该方法将注意力转到小的类别上。

三维点云课程(六)——三维目标检测_第25张图片三维点云课程(六)——三维目标检测_第26张图片 

2.3 Point-wise operation

2.3.1 PointRCNN

  1. 得到每个点的feature vector
  2. 把前景背景分割,每一个前景做一个proposal
  3. 每一个box做ROI Pooling

所有操作都是以点的形式输入三维点云课程(六)——三维目标检测_第27张图片 

三维点云课程(六)——三维目标检测_第28张图片

2.4 Vison Fusion

2.4.1 Frustum PointNet

将图像上的框投影到点云,视觉与LIDAR在时间空间上很难对齐。

三维点云课程(六)——三维目标检测_第29张图片2.4.2 PointPainting

你可能感兴趣的:(三维点云,目标检测,深度学习,人工智能)