立体匹配算法的学习

难点

颜色/亮度在不同区域和光照/阴影条件下可能有差异或噪声。同时可能有区域发光为立体匹配增加难度
其他难点：倾斜面，透视变形，弱纹理区域，重复纹理，透明物体，遮挡和深度不连续的区域。

分类

1. 局部方法（non－local）：局部滤波（Box filter，Bilateral Filter，Guided
   filter），minimum spanning tree（MST），Full image filter

2. 半全局算法：semi
   global matching

3. 全局算法： graph cut，Belief propagation

直接块匹配：以像素点为中心，做一个遍历滑窗，寻找最优解。（问题：存在冗余计算）

立体匹配流程

匹配代价计算 $\to$ 代价聚合 $\to$ 视差计算 $\to$ 视差优化/后处理

代价函数计算左右图两个像素之间的匹配代价cost，cost越大，代表两个像素对应点的可能性越低。

代价函数的常用算法有：

• AD代价 absolute difference 灰度值直接相减取绝对值。
• BT代价 在AD代价的基础上考虑了采样误差
• AD+Gradient
• Cencus（与8邻域进行简单比较，进行异或运算，计算汉明距离）
• NCC（对线性变化具有不变性），计算两个矩阵形成的向量归一化后的点积（夹角余弦值）
• AD+Cencus（同时考虑光线的变化和噪声）
• CNN对两个图像块进行卷积处理，归一化后点积输出similarity score

Mc-CNN流程

代价空间 cost volumn
设视差范围为d，则对于每个d=0，1，……,建立一个m*n的平面，平面上每个值对面左图每个点在这个d下的cost
代价空间和Sliding windows的关系：（51：50）

Box filtering 对每块的C直接进行均值滤波
Box filtering的assumption：当前块没点的disparity相等
Box filtering的缺点：对边界的响应很差，窗口很大的话效果很差，不具有保边性，窗口很小的话受噪声影响很大。

双边滤波Bilateral filter：综合引入颜色+空间距离，自适应权重
颜色差异大的权重小，颜色差异小的权重大，具有保边性。
窗口可以开大，匹配稳定.

Cross－based local stereo matching 自适应形状
对于给定的点，当临近的点与中心点像素差小于阈值时，区域延伸，得到十字臂

用积分图方式加速计算

Semi-Global Matching
能量函数E（D） 加入了平滑项
对邻域像素点差异较小值引入惩罚项p1,对邻域像素点差异较大值引入惩罚项p2
现用上述方法计算代价空间
再进行代价聚合过程：
计算各个方向上的路径代价Lr（p,d）
对各个方向加和进行代价聚合。
WinnerTakeAll获得所有代价：在代价空间中每个点选取该通道下最低代价聚合的Disparity值作为输出的Disparity

Disparity propagation（Patch Match）
对于很多场景，很多区域都可以近似用一个平面来建模
为了找到每个区域的平面参数，对每个像素赋予随机的平面参数（随机初始化），希望每个区域至少有一个像素的初始平面接近真实平面。然后通过传播算法把正确的平面参数传递给这个区域的其它像素。

视察优化/后处理
左右一致性检测（LRC）
(x1,y)向右匹配，得到(x2,y),再向左匹配得到(x21,y),如果|x21-x1|>T,则未通过一致性检测

The minimum/the second minimum cost

Speckle filter
为了移出噪声点，对视察图做一个联通区域提取（如果某相邻两个像素的视察值之差小于某个预先设定的阈值，则可以认为这两个像素属于同一个区域）

亚像素差值
对差值结果进行多项式差值
还有处理方法如中值滤波等。

DataSets

Midlebury Stereo 3.0
Kitti 2012/2015
ETH3D
Robust Vision challenge