三维点云处理技术二：三维点云表征概述

课程来源：睿慕课《三维点云处理技术和深度学习在点云处理中的应用》

三维点云数据获取方式及原理

主要分为立体视觉测量法、结构光3D成像法、飞行时间TOF法。

立体视觉测量法

相机成像模型

视觉SLAM14讲——相机模型介绍

世界坐标系下的三维坐标点$P_w⟶$相机坐标系下的坐标$P_c⟶$归一化坐标$P_{norm}⟶$畸变后的坐标$P_d⟶$像素坐标$U(u,v)$

被动双目立体视觉

双目立体视觉是利用视差原理来计算深度。两幅图片因为相机视角不同带来的图像差别构成视差，过程如下：
1，首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。
2，根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行。
3，对校正后的两张图像根据极线约束进行像素点匹配。
4，根据匹配结果计算每个像素的深度，从而获得深度图。

优点:
1、对相机硬件要求低，成本也低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器，使用普通的消费级RGB相机即可。
2、室内外都适用。由于直接根据环境光采集图像，所以在室内、室外都能使用。相比之下，TOF和结构光基本只能在室内使用。

缺点:
1、对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像，而由于光照角度变化、光照强度变化等环境因素的影响，拍摄的两张图片亮度差别会比较大，这会对匹配算法提出很大的挑战。另外，在光照较强（会出现过度曝光）和较暗的情况下也会导致算法效果急剧下降。
2、不适用于单调缺乏纹理的场景。由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。
3、计算复杂度高。该方法是纯视觉的方法，需要逐像素计算匹配；又因为上述多种因素的影响，需要保证匹配结果比较鲁棒，所以算法中会增加大量的错误剔除策略，因此对算法要求较高，想要实现可靠商用难度大，计算量较大。
4、相机基线限制了测量范围。测量范围和基线（两个摄像头间距）关系很大：基线越大，测量范围越远；基线越小，测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。
最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。

主动双目立体视觉

利用投影在物体上的图案，帮助两个相机计算双目匹配；有多种可能的投影图案，一个方案是使用伪随机散斑。
优缺点:
解决了弱纹理情况下的双目匹配问题，减少了特征点匹配的计算量，但增加了硬件成本。

结构光3D成像法

结构光可分为点、线、面结构光，测距原理就是三角测距法。
【深度相机】结构光
结构光的概念及其实现三维成像的主要原理是什么？
基于结构光的立体视觉



优缺点:
结构光目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没，因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新更换设备后，需要重新标定。

飞行时间TOF法

分为脉冲法和相位法。
脉冲法:距离的时域检测，通过估计光在被物体反射后从照明器传播到相机所花费的时间来计算。
相位法：距离的频域检测，根据发射光与反射光的相位延迟来计算飞行时间。
TOF科普篇
TOF工作原理是什么？
TOF–TOF相机技术原理深入解析与分享
优缺点:
TOF方案，传感器技术不是很成熟，因此，分辨率较低，成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量，是未来发展的一个重要方向。

三种相机的比较

深度相机—TOF、双相机立体视觉、结构光立体视觉原理及优势对比
深度相机（一）——分类：TOF、RGB双目、结构光优劣分析

三维信息的表征形式

点云的基本特征和描述

点云的法向量估计

点云的PCA

点云PCA本质上就是求解过点云中心的向量，使得所有点云投影到该向量的投影位置方差最大。

点云的特征值特征向量

有关深度相机干扰性问题的交流

主动式不太适用于室外的主要考虑环境光影响，受环境光影响比较大的是红外类的，就比如kinect 1代，就是比较典型的。但是tof类的就会好很多，因为使用的主要是激光，就会受环境光影响比较小，kinect 2代就是tof原理的了。

激光器件受影响有没有，肯定是有的，那取决于什么？激光调制器的功率，还有接收器的灵敏度。激光波长905nm，接收器肯定有一定噪声的，返回信号也有衰减，这个是室内要比室外环境影响少的原因。