学习笔记——深蓝学院点云系列公开课05：3D物体检测的发展与未来
3D物体检测的发展与未来
今天在深蓝学院的网站上找到了以后，就迫不及待的看了一波 还是很棒的 有一些启发
直接把博客当成笔记了
网站链接：https://www.shenlanxueyuan.com/open/course/97
主讲人：charles qi 祁芮中台 pointnet和pointnet++ 第一作者
三维点云领域中绝对绝的大佬级人物
课程主要内容：
- 背景介绍：3D检测的定义与应用
- 3D物体检测的近期发展
- 3D物体检测的未来方向
- 科研经验分享与讨论
背景介绍
为什么要做三维？回顾互联网发展的历程
从1998年谷歌创立到2016年alphago被创立，互联网与AI一直应用在虚拟世界以及互联网世界中，但随着ai 的飞速发展，互联网逐渐走进了真实的物理世界中。
如05年的DARPA挑战，10年kinect被发明，13年KITTI数据集被提出，15年shapenet数据集被提出，16年开始基于3D 的数据网络得到长久发展。
但是在距离实现的过程中仍然有很长足的路要走。
在未来的几年中，基于现实世界的应用AI会的车到常驻的发展。
什么是3D物体检测（3D object detection）？
输入：3D感知数据：如RGB图像 深度图像 雷达扫描图像
输出： 物体的定位、姿态、语义等
评价标准：如果用3Dbounding box 为标准，以平均 表现为评价标准，给出准确率并且绘制出pr-curve，用来衡量模型的准确程度。
应用场景： 目前比较火热的应用场景诸如 自动驾驶、 增强显示、机器人抓取 等一系列需要对场景感知的场景。
3D物体检测的历史
template -baced 先给一个模板，然后把场景里的物体在模板中识别出来， 有点是可以识别特定的物体，如场景中输入好的马里奥，缺点有很多，如智能识别单一物体、运算量非常大、不具备智能性等
ckustering-baced 先对场景进行分隔，然后根据物体分割所得的东西得到一些物体快，然后在对小的物体块进行判断，是物体或者不是物体。但是和深度网络有区分的是，他不是通过网络输出的，而是通过特征识别的，缺点为大量的依靠手工的方法做识别，输入，因此智能型和可拓展性比较差
sliding shape baced 训练一个分类器，把分类器当成检测器，把空间中的每一个物体做分类，然后逐个检测，由于没有用深度学习，所以计算量很大，并且灵活性差
deep learning时代：
时代背景&基础：
- 3D传感器和大规模数据集产生
商用深度相机、lidar
KITTI、SUN RGB-D、shapenet、scannet等 - 2D物体检测的发展
从R-CNN===>FAST R-CNN===>FASTERR-CNN===>… - 3D 深度学习的崛起
如基于三维点云的深度学习网络等等
由此，在2016年，提出了基于深度学习的3d物体检测，可以作为里程碑似的标志，将深度学习用在了3D-CNN中
后续的初步思路是先将3D化为2D
主要分为三个思路
1.Frustum Proposal-用2D 的方法解决3D的问题
缺点：3D 的精度很难大大偶特别高，由此提出了基于RGB-D的工作 如frustum pointnet
输入：RGB-D图像
方法：将2D图像和三维点云拟合
在进行实例分割时，基于2D 的深度物体分割的结果要显著比3D分割的效果更差。
局限性：
- 同一个视锥中只能检测一个物体
- 是基于2D 的分割，因此如果2D没有标记出来，是不会通过点云检测的
2、 用降维的方法解决3D learning问题
即把三维的图像用鸟瞰图的方法压缩为2维然后用2维方法进行处理
代表性的网络有：
3. 直接利用点云的稀疏性进行检测
因为点云只存在在物体表面，因此在三维空间中也是有稀疏性
重点介绍：Deep Hough Voting for 3D Object Detection in Point Clouds （ICCV 2019
一种基于voting 的思路
进一步结合2D的vote：
对未来3D物体检测发展方向的预测
-
输入端： 可以是更加多模态的信息，如RGB、雷达、slam 或是甚至有时间维度的信号
-
交叉领域 ：从机器学习的领域来看3D检测： 如无监督学习；自标注、若标注 或和其他问题结合的互相监督模式 以及持续学习的模式
-
3D视觉在机器人领域的检测 如物体检测、6D位姿估计等 或是基于深度学习的模板检测
-
困难点： 如这档情况 肠胃情况 极端情况 或者没有3D数据的检测等
总结
答疑&求学经历
回答了一些相关的问题，然后简单的介绍了一下科研经历
科研经验与经历：
1.选择问题非常重要，是博士和研究员最终要的能力，问题如果选好了，就成功了一半，另外数据和matric处理好也非常重要，模型知识表达的一个方法。
2.如何选题？1。选到关键节点 2。 从横向比较获得启发 3。从工程实践中总结
选择尽早发现，在技术较为成熟的时候进入这个领域
横向比较，在相关领域或者类似领域发散思路，需要将方法进行前移
工程实践中会遇到很多实际的问题，可以考虑将这些问题抽象为实际问题（有机会应该多去好公司实习）
3.快速调整方向（选题）
如果选题遇到太难或者有什么壁垒时候，需要快速做出调整，不建议在一个方向上面死磕，而是应该正在项目经历和积累中思考未来的选题。
4.扎实的工程能力必不可少（涉及到迭代速度） 能够正确的实现已有的想法，并且快速迭代。
最有效的方法是跟随有经验的人一起学，或者把握课程或实习里面的锻炼机会，做到练中学
5.在实际工程项目的过程中要注重细节工程能力的积累，不要轻易放过细节，这会产生复利效应，在宏观上可以让项目速度越做越快，极快的积累经验
6.科研布局：点到线、线到面 将自己的知识脉络和项目串联起来，形成知识网
（下图为作者的知识网）
7.奥卡姆剃刀法则：追求简约而不是复杂
8.总结概括如下：
