双目立体视觉入门

这是我在group meeting的时候，第一次给小伙伴们分享双目立体视觉知识所用ppt的内容，主要是学习借鉴了“stereo vision: algorithm and application”的课件，希望各位有兴趣的童鞋留言交流！

1、

what is stereo vision system?

Is a technique aimed at inferring depth from two or more cameras .

立体视觉是利用两个或者更多相机来计算物体深度的技术。

2、

What do wehave from stereo camera? A generalsituation:

这是一个两台照相机的情况，在上一张图中，相机抽象为两个视点，R和T，对于目标物体P，在R的成像平面投影为p，在T的成像平面投影为p`，同时在P到p连线上，存在另一个物体Q，在R的（成像平面）投影也在p（与q重合了），在T的投影为q`，也就是说，虽然在一张图上不能分辨的深度，从另一个视点就可以找到了

那怎么找到呢？

现在，我们看下面的图，在P和p`的连线上，存在另一物体Q`，在T的投影在p`（和P的投影点重合了）在R的投影为q``，那么连接p和q``为直线L1，连接p`和q`为直线L2，这下就可以理解“极线”的定义了，L1和L2是相对于R和T视点的对应极线，而且在L1上的点也必然在L2上，这就是“极线约束”（epipolar constrain）。

3、

We down scale the search space from 2d to 1d by epipolar constrain

standard form :

Conjugate epipolar lines of two images lie in the same image scan line

Corresponding points are easier to find , they must lie on the same scan line. 

我们利用“极线约束”将搜索对应点的空间从2d降为1d，从而可以在计算出两个相机的相对位置之后（相机内参外参计算等前期工作暂不讨论，可以看opencv的书有详细讲解呢），将普遍情况转换为标准情况——两条极线重合。标准情况如下：

4、

深度信息从哪里来呢？已知焦距f（此时两个照相机的焦距相同），投影点在两个成像视图的位置Xr、Xt，两视点的距离B，用相似三角形定理可以计算Z啦。

5、

一张ground truth可能更直观

下一篇，主要讲我对SGM方法的一些理解，参考论文

Stereo Processing by Semiglobal Matching and Mutual Information

by Heikoin 2008 IEEE

希望有兴趣的童鞋不吝赐教！