立体匹配---立体匹配过程

立体匹配就4个步骤：匹配代价计算，代价聚合，计算视差，视差精化。

匹配代价计算: 一般是通过计算左右两图对应像素3个通道的灰度值差来决定匹配代价的，常用的就是基于像素点匹配代价计算，一般有AD， SD，TAD什么的，基于区域的匹配代价计算一般有SAD，SSD， STAD之类的。匹配代价计算会生成一个disparity space image，也就是DSI。这个DSI是一个三维的空间，也就是每一个视差，得到一张代价图。假如视差范围是0～16，则会得到17幅代价图。视差搜索范围就是MiddleBurry网站上的stereo pair值，也就是说在视差范围内（比如0-16）内搜索匹配代价，得到17张匹配代价图，然后找到匹配代价最小的对应的视差值就是此像素对应的视差。

代价聚合:其实就是一个滤波的过程，对每一幅代价图进行聚合，最简单的就是采用boxfilter。第一步代价计算只是得到了图像上所有孤立像素的视差值，但是这些时差值都是孤立的，引入了过多噪声，比如一片区域的视差值都是10，可是引入噪声后就会导致这一片的视差值都不一样，那么就需要一个滤波的过程，也就是我们所说的局部立体匹配方法，即采用窗口卷积达到局部滤波的目的。

计算视差:常用的方法就是WTA算法（局部），对于图像中的同一个点，选出17幅代价图中匹配代价最小的那张图，该幅图对应的视差值就选取为最终的视差。或者在全局立体匹配中采用能量函数的方法，分为数据项和平滑项，数据项其实就是代价计算，平滑项就是代价聚合，只不过窗口大小是整幅图像，也可以试试如果把平滑项前面的系数lamda设为0，那么得到的结果和单纯代价计算的局部立体匹配是一样的。

视差精化：也就是对得到的视差进行优化的过程，如：左右一致性检测、区域投票等；这步其实是很多立体匹配的遮羞布，比如用遮挡处理，中值滤波，左右一致性检测等，都能使最后的是视差图提升1%左右，它是很多论文的遮羞布。但是不可否认的是，立体匹配最关键的步骤仍然是代价计算和代价聚合步骤。

在立体匹配方法中，基于全局和局部的算法有些区别。不过基本步骤都差不多。有些时候，基于局部的算法，第一步和第二步是合并在一起进行的，基于全局的算法，会跳过第二步。