Depth Estimation Summary 深度估计

求取场景所对应的深度值

比较常用的方法是从kinect的红外传感器中得到深度(NYU Depth V2)或者借助于激光雷达（KITTI），kinect虽然比较廉价，但是所采集到的深度范围(超过4m kinect估计的深度的精度就会下降)和精度都有限。而激光雷达的成本就比较高了。

双摄像头可以测距和建立立体环境

首先三维和二维的区别，这个大家都容易理解，二维只有x、y两个轴，比如一张素描画，我们整体的感觉是“平”的，而三维则是多了一个z轴的维度，这个z轴的直观理解就是点离我们的距离，也即 “depth(深度)”。

左右图像的“差异”到“深度”的转换，光学三角关系图：

物体上的点p12分别对应左右图像上点p1和p2，求解p1、p2、p12构成的三角形，我们就能得到点p12的坐标，也就能得到p12的深度。在工程上的双目视觉三维重建，核心目标就是解上图所示的三角形，相机可以抽象成一个简单的透视系统：

空间点p经过相机成像，映射到图像上点(x,y)，其中Oc是相机光心，WCS、DCS、ICS分别是世界坐标系、设备(相机)坐标系、图像坐标系。空间点p到相机图像上点的几何变换可以用相机内参来描述，具体公式就不说了，可以简单地理解为相机拍照是对点的几何坐标变换，而相机内参就是决定这个变换的一些参数。

 

继续看之前的光学三角关系图，O1、O2分别是左右相机的光心，现在我们要做的就是确定这两个相机的相对位置关系：可以用旋转矩阵R和平移向量T来描述，确定了R和T，两个相机的位置关系就确定了，这个步骤叫做相机的外参标定。一般的做法是用三维重建的逆过程来做，即由一系列已知的p1、p2和p12来求解光学三角形，估计出最优的R、T。简而言之，外参标定确定相机之间的相对位置关系。

现在我们只需要知道p1、p2的坐标，我们就能轻松算出p12的坐标，完成三维重建。我们把p1、p2称为一个点对(pair)，他们是同一个空间点在不同相机中的成像点。寻找这样的点对的过程称为立体匹配，它是三维重建最关键，也可以说是最难的一步。

 

深度求解的数学推算

参考文献：

1.https://zhuanlan.zhihu.com/p/29968267   深度学习之单目深度估计 (Chapter.2)：无监督学习篇

2. https://www.zhihu.com/question/23418797   双眼可以测距和建立立体环境，双摄像头可以吗？