Stereo Correspondence

第一次试图写康奈尔笔记。。。

笔记是关于Computer Vision上面第11章的，没有看6、7两节。

线索 在已知镜头定标参数的情况下，首先，预处理，rectification（两幅图）或plane sweep（多幅图） 稀疏对应不太常用，现在流行密集对应 密集对应的步骤如下： 进行像素匹配，建立对应关系 用局部或全局算法进行cost aggregation

1.记录: Stereo Correspondence用于从两幅图像中恢复深度图，或者从一系列图中进行3D重建。首先对极线几何的基本知识做介绍，比如极点、极线、极平面。 首先，如何知道不同视点下的像素的对应关系呢？假设，我们已经知道了镜头的定标信息。首先是预处理阶段。 1. 极线几何 rectification：两幅图像情况下，首先对图像进行修正，使极线保持一致。1) 用最小的角度使镜头旋转之后，视线垂直于镜头中心的连线；2) 使镜头的up向量垂直于镜头中心线，使极线平行，无穷远处点没有偏离；3) 缩放图片，使极线一致 然后就可以得到disparity space image(DSI) C(x,y,d)，然后估算disparity map d(x,y)了。 plane sweep：用于多图且镜头格局不限的情况下的立体匹配。首先将图像通过单应H投影到虚拟镜头下，然后进行disparity采样，用disparity d作为参数将每个图像存储为generalized disparity space image I‘(x,y,d,k)。然后计算它与引用图像Ir的差存入DSI中。之后生成一个disparity space d(x,y)的函数来描述场景表面的形状。 2. 稀疏对应 根据目标点和边的特征进行稀疏立体匹配时早期的stereo matching算法，不过现在仍可见到，因为在哪些光照变化很大的场景下，只能依赖边来识别。还有一个用处就是匹配轮廓曲线，建立3D模型。 首先要假设镜头的移动很平滑，局部极线几何改变不大，提取并连接边缘，然后，用成对的极线几何匹配连续图像中的边。把视线相对于邻域投影到当前镜头中心的极平面，得到曲线，最后得到表面形状、曲率和法向。这样生成的是离散的3D曲面，需要插值生成平滑的表面。 3. Dense Correspondence 现在大部分算法致力于Dense Correspondence，这个方法有难度，因为需要猜测无纹理区域的深度。 一般的步骤是： matching cost computation cost(support) aggregation disparity computation and optimization disparity refinement 具体看算法的不同会对步骤有修改。 第一步书上有详细的相关工作介绍。 4. 局部方法 第二步可以用局部方法来实现，选择一个合适的窗口，对其内部的DSI做卷积。最后计算disparity很简单：根据最小代价值来选择每个像素的disparity。这个方法的缺点是匹配的唯一性只靠引用图像来加强。 5. 全局算法 全局算法在计算disparity后通常会进行优化和迭代，可以跳过aggregation步骤。算法定义全局的能量函数，然后找一个最小值，也就是全局优化问题。全局优化的一些方法：max flow和graph cut，比模拟退火更有效。 动态规划：有一些全局优化算法是基于动态规划的，根据DSI计算代价函数，这个方法比较有局限性，但与精密的aggregation算法配合，可以得到快速质量高的结果。 基于分割的技术：该方法首先对图像进行区域划分，然后根据disparity来分层。 2.思考: 有点难以理解，流程并没有描述清楚，需要看论文

总结 讲到了很多论文 方法基本收录在http://vision.middlebury.edu/stereo/

本文原创，转载请注明出处

http://www.cnblogs.com/luluathena/