双目视觉——获取图像中的物体的深度信息（三维坐标）

引用：计算机视觉life
1.深度相机原理揭秘–飞行时间（TOF）
链接： https://mp.weixin.qq.com/s/nt_dEfuI5No2nsM9I4e_ng
2.深度相机原理揭秘–双目立体视觉
链接：https://mp.weixin.qq.com/s/wPyWEMq1dHjRmm1K6piUIw
3.深度相机原理揭秘–结构光（iPhone X 齐刘海原理）
链接：https://mp.weixin.qq.com/s/SLNheDVwCf3jiICpHixCYA
4.伪激光雷达：无人驾驶的立体视觉
链接：https://mp.weixin.qq.com/s/uFLUPSh_1Qz4iHP6QNMudg
5.引用：https://blog.csdn.net/bingoplus/article/details/56667475?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.add_param_isCf

对极几何学（Epipolar Geometry）——立体视觉

立体视觉是基于两幅图像寻找深度。

我们的眼睛类似于两个摄像头。由于他们从不同的角度看一幅图像，他们可以计算出两个视点之间的差异，并建立一个距离估计。

立体相机如何估计深度？

假设你有两个摄像头，一个左，一个右。这两台摄像头在同一个 Y 轴和 Z 轴上对齐。基本上，唯一的区别就是它们的 X 值（间距）。

双目视觉示意图

~~我们的目标是估计 O 点(表示图像中的任意像素)的 Z 值，即距离。（实际上像素点对应的三维坐标值都可以拿到）；
·X 是对齐轴
·Y 是高度
·Z 代表深度
——两个蓝色的平面对应着每个相机拍摄的图像 ；

现在从鸟瞰的角度来考虑这个问题：

·xL 对应左摄像头图像中的点，类似的xR 对应右摄像头。
·b 是基线，是两个摄像头之间的距离。

我们得到 Z = (X - b)*f/xR. 综合起来，我们可以找到正确的视差 d = xL - xR 和一个物体的正确 X、Y、Z 位置。

视差和深度图（核心）

通过上面的三个立体视觉方程式，可以通过预先获取的 f ，b，然后通过图像中找到对应点在两张图中的坐标X轴差值d，进而根据公式即可求出纵向距离Z以及横向距离X及高度Y；

由于立体视觉，我们可以估计任何物体的深度（假设我们已经做了正确的矩阵校准），它可以计算一个深度图或视差图:





~~

由于立体视觉，我们不仅知道图像中的障碍物，还知道它们与我们的距离！这个障碍物离我们有28.927米远！

立体视觉是使用简单的几何学和一个额外的摄像头将二维障碍物检测转化为三维障碍物检测的方法。今天，大多数新兴的“边缘”平台支持立体视觉，如新的OpenCV AI Kit或树莓派和英伟达Jetson。

在成本方面，与使用激光雷达相比，它相对便宜，并且仍然提供了很好的性能。我们称之为“伪激光雷达” ，因为它可以取代激光雷达的功能: 检测障碍物，对障碍物进行分类，并对障碍物进行三维定位。

References:
Course Visual Perception for Self-Driving Cars by University of Toronto

原文：https://medium.com/think-autonomous/pseudo-lidar-stereo-vision-for-self-driving-cars-41fa1ac42fc9

双目立体视觉法优缺点

根据前面的原理介绍，我们总结一下基于双目立体视觉法深度相机的优缺点;
1.优点
1、对相机硬件要求低，成本也低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器，使用普通的消费级RGB相机即可。

2、室内外都适用。由于直接根据环境光采集图像，所以在室内、室外都能使用。相比之下，TOF和结构光基本只能在室内使用。

2.缺点
1、对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像，而由于光照角度变化、光照强度变化等环境因素的影响，拍摄的两张图片亮度差别会比较大，这会对匹配算法提出很大的挑战。如下图是在不同光照条件下拍摄的图片：

另外，在光照较强（会出现过度曝光）和较暗的情况下也会导致算法效果急剧下降。

2、不适用于单调缺乏纹理的场景。由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。

3、计算复杂度高。该方法是纯视觉的方法，需要逐像素计算匹配；又因为上述多种因素的影响，需要保证匹配结果比较鲁棒，所以算法中会增加大量的错误剔除策略，因此对算法要求较高，想要实现可靠商用难度大，计算量较大。

4、相机基线限制了测量范围。测量范围和基线（两个摄像头间距）关系很大：基线越大，测量范围越远；基线越小，测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。