立体匹配的后续处理：左右检测+遮挡填充+中值滤波

立体匹配的后续处理：左右检测+遮挡填充+中值滤波

  (2011-09-06 15:25:20)

转载▼

标签：  立体匹配   stereo   vision   双目视觉   lrc   中值滤波   occlusion   it

分类： 科研-术业有专攻

[前言]

  相信很多刚接触立体匹配(stereo matching)的同学都有这样的困惑：为什么完全按照论文里的步骤和参数得到的结果却比论文里呈现的要差不少？

  如果程序真得没问题，多半是由于你比论文里少做了一个后续处理步骤(post-processing)。而且，作者通常不在论文里对这种后续处理加以详细说明。

  这里介绍一下最常用的后续处理措施：左右一致性检测(Left-Right Consistency (LRC) check)，希望能帮助一些人。左右检测对实验效果的提升是很显著的，无论是视差图的视觉效果还是数据精度。很多时候LRC都是论文的遮羞布，在论文主体部分优势不明显的情况下，通过LRC依然能得到过得去的结果，从而掩盖了核心算法的孱弱。是的，一些不错的会议文章也是这么干的。这就是论文写作的小trick吧，也是一种潜规则了。

 

[Occlusion 介绍]
  遮挡，顾名思义是只出现在一幅图像，而在另一幅图中看不到的那些点。在立体匹配算法中如果不针对遮挡区域做一些特殊处理是不可能通过单幅图提供的有限信息得到遮挡点的正确视差的。遮挡点通常是一块连续的区域，记作occluded region/area。

 

[LRC check介绍]
  LRC check的作用是实现遮挡检测(Occlusion Detection)，得到左图对应的遮挡图像。
  具体做法：根据左右两幅输入图像，分别得到左右两幅视差图。对于左图中的一个点p，求得的视差值是d1，那么p在右图里的对应点应该是(p-d1)，(p-d1)的视差值记作d2。若|d1-d2|>threshold，p标记为遮挡点(occluded point)。

  如下依次是，左图的视差图，右图的视差图，teddy左图，左图对应的二值遮挡图。

  

  

 

[Occlusion Filling]
  得到了二值的遮挡图像，之后是为所有黑色的遮挡点赋予合理的视差值。对于左图而言，遮挡点一般存在于背景区域和前景区域接触的地方。遮挡的产生正是因为前景比背景的偏移量更大，从而将背景遮盖。
  具体赋值方法是：对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋成pl和pr的视差值中较小的那一个。d(p)= min (d(pl),d(pr)) (Occluded pixels have the depth of the background)。

  下面依次是左图的视差图，进行occlusion filling后的视差图。 

 

[Median Filtering]
  这种简单的Occlusion Filling方法在遮挡区域赋值方面效果显著，但是对初始视差的合理性和精度依赖较高。而且会出现类似于动态规划算法的水平条纹，所以其后常常跟着一个中值滤波步骤以消除条纹。

  下图是中值滤波的结果。

[结束语]
  这样，通过LRC check检测出遮挡点，对其进行视差估计，再对整幅图做中值滤波，得到的结果就好多了。try