视差

1、三维世界的物点落在左右两眼的视网膜上的几何投影位于不同的位置，即在视网膜上存在差异，通常我们把这种差异称作视差。

2、立体校正后的图像只在X轴方向上存在视差。极限上如果存在颜色相同且 距离在视差范围内的点，则很有可能是对应点，从而简化了对应点匹配的计算。

连续性，一致性 

3、局部匹配：基于区域的，对参考图像上的一个点，以其为中心构造一个邻域支持窗口，然后将这个窗口在待匹配图像上遍历搜索范围，计算其在遍历过程中每一个窗口的相似程度，以相似程度最大的窗口为最终结果。

如何确定匹配窗口的大小和形状？？

4、全局匹配：

全局能量函数:          第一项数据项，表示像素处于某种视差值的代价，反映的是像素在不考虑邻近像素情况下，自身的倾向。第二项称为平滑项表示相邻像素之间在视差上相互影响的关系

      4.1 动态规划法

      把巨大的问题分为几个阶段，然后分别对每个阶段求其最优解，最后将这些最优解结合起来解决整个问题，根据外极线约束，寻找最小代价路径得到视差图。

       4.2 基于马尔科夫随机场

        1） 图切割：

               构造赋权图，根据每个因子在能量函数中的取值，为马尔科夫链的配置和赋权图上的割构造对应准则，（每个节点代表一个随机变量，每条边代表节点之间的相互作用影响）

               接着使用赋权图中的最小割极小化目标能量函数，从而把全局能量最小化问题等效为赋权图中的最小割问题，一般采用最大流算法求解。

          2）置信传播：

               置信传播理论是基于利用消息在马尔科夫网络中传播的机制，是一种迭代推理算法。 

              将匹配空间看做马尔科夫随机场，图像像素点与马尔科夫随机场中的节点一一对应起来，用贝叶斯最大后验证概率估计方法对节点间的消息进行迭代和更新，求出迭代后节点的最大后验概率及置信度信息，根据节点求置信度。

在第t次迭代过程中，在视差d时，节点X1向其邻域节点X2传递的消息：包括三项，数据项（像素灰度绝对差值），平滑项（相邻像素的不连续性），t-1次迭代过程中X1点邻域像素（除X2）传递的消息之和，最优化视差即为最小化置信度信息。

                最大积方法来求取马尔科夫随机场能量最小化问题，引入消息传递机制，置信度用来反映每个节点取某个值的可能性，邻近节点通过传递消息来改变各个节点对应的各个变量值得可信程度，即置信度

                 通过有限次数的迭代，算法推动消息在各个节点间传递，使各个节点对应的各个变量值的置信度得到充分的更新，整体上达到减小整个马尔科夫随机场能量值得效果。

                  当马尔科夫随机场各个节点对应的变量值的置信度随迭代进行不在变化或变化很小时，每个节点中置信度最大的变量值被选为该节点最终的取值。