双目视觉——立体匹配基本理论

           如果空间景物上的任意一点M在两个（或两个以上）摄像机成像面上的投影点为ml 和mr，则ml 和mr 被称为对应点（Correspondence）。求取左右像平面之间对应点的过程就是立体匹配。

1.视差理论

      在计算三维信息坐标时，视差d 的计算具有重要的意义。视差估计在立体视觉中具有重要的地位，视差的估计过程就是立体图像对中对应点的求解过程，也就是立体匹配过程。所以在具体介绍立体匹配原理之前，首先给出视差以及视差空间(DSI)的明确定义。

1.2视差矢量和视差图

       对于不同的立体摄像机模型，视差矢量的结构也有所不同。在平行式立体视觉模型中，由于两摄像机的光轴互相平行，导致左右图像间的对应极线相互平行，且位于相同的图像水平扫描线上。因而视差矢量平行于图像的水平扫描线，此时视差矢量实际上退化为标量，如图所示；在汇聚式视觉模型中，左右图像间的对应极线不再平行，因而视差矢量也就不平行于图像水平扫描线，视差矢量的两分量都不为零，如下图所示。

       视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。其原理是把计算得到的视差值映射到相对应的灰度空间0 ~ 255。因此在视差图像中，灰度值越高，则说明物体越靠近摄像机，反之，灰度值越低，则说明离摄像机越远.

1.2视差空间图像(DSI)

      立体匹配的目的就是找到左右图像的对应点，在对参考图像对应点的寻找过程中，是在一定的范围内完成搜索的。于是参考图像坐标(u,v)和视差搜索范围d 就构成了视差空间图像DSI(disparity space image)，如图所示。视差空间图像中每一点(u,v,d)的像素表示的是参考图像位于(u,v)的像点与匹配图像在(u + d,v)处像点之间的“距离”。这个“距离”是一种泛指的定义，此处的含义是对应点之间相似性度量代价DSI(u,v, d )。其中一种较为直观的DSI(u,v, d )定义为两点之间的灰度差值的平方：

     对于标准图像对而言，由于视差搜索均沿水平扫描线方向。因此，视差空间图像中的一个水平切面被称为扫描线视差空间图像。

2.大部分匹配算法都需要考虑以下四个问题

        1、约束准则和假设，匹配约束是将关于物理世界的某些固有特性表示为匹配所必须服从的若干准则。由于基于立体视觉求解三维信息，是成像过程的“逆”过程，Marr认为立体视觉具有“病态”的不确定性。在从三维世界向二维图像的投影过程中丧失大量的信息。为避免误匹配和有效解决这种“病态”问题，视觉系统必须依赖于一系列自然的约束条件才能够获得相对确定的解。
        2、匹配基元的选取，匹配基元是指用以匹配的图像特征。这个特征是个泛指的概念，这个特征应该具有较好的表征景物本身的特有属性。
        3、确立相似性测度，在确定立体图像对中的对应点时，需要有一种度量准则来进行度量点与点之间的相似性。在不同的具体算法里面，相似性测度的具体形式会有所不同，但对于大多数立体匹配算法来说，相似性测度可以归纳为一种求解匹配代价值的函数形式。
        4、优化算法的应用，由于在成像过程中，在立体图像对之间存在遮挡、低纹理区或者重复纹理等复杂因素的影响，使得匹配不可能仅仅简单的依靠测度函数和约束就能得到较高的匹配效果。因此在众多的匹配算法里面都用到了算法优化的思想，动态规划、遗传算法、模拟退火、协同算法等