视差图后处理

 

立体匹配算法原理与应用 - 奥比中光

 

 

• 立体匹配算法在算出初始视差图后会进行视差图后处理，包括中值滤波，连通域检测等。其中中值滤波能够有效去除视差图中孤立的噪点，而连通域检测能够检测出视差图中因噪声引起小团块(blob)。在BM和SGBM中都有speckleWindowSize和speckleRange这两个参数，speckleWindowSize是指设置检测出的连通域中像素点个数，也就是连通域的大小。speckleRange是指设置判断两个点是否属于同一个连通域的阈值条件。大概流程如下：

1. 判断当前像素点四邻域的邻域点与当前像素点的差值diff，如果diff
2. 步骤1完成后，判断被标记的像素点个数count，如果像素点个数count<=speckleWindowSize，则说明该连通域是一个小团块(blob)，则将当前像素点值设置为newValue(表示错误的视差值，newValue一般设置为负数或者0值)。否则，表示该连通域是个大团块，不做处理。同时建立标记值与是否为小团块的关系表rtype[label]，rtype[label]为0，表示label值对应的像素点属于小团块，为1则不属于小团块。
3. 处理下一个像素点时，先判断其是否已经被标记：
   如果已经被标记，则根据关系表rtype[label]判断是否为小团块（blob），如果是，则直接将该像素值设置为newValue；如果不是，则不做处理。继续处理下一个像素。
   如果没有被标记，则按照步骤1处理。
4. 所有像素点处理后，满足条件的区域会被设置为newValue值，后续可以用空洞填充等方法重新估计其视差值。

OpenCV中有对应的API函数，void filterSpeckles(InputOutputArray img, double newVal, int maxSpeckleSize, double maxDiff, InputOutputArray buf=noArray() ) 

函数源码如下: [CODE]

如下视差图中左上角部分有7个小团块，设置speckleWindowSize和speckleRange分别为50和32，连通域检测后结果为如下图右，小团块能够全部检测出来，方便后续用周围视差填充。当然还有一个缺点就是，图像中其他地方尤其是边界区域也会被检测为小团块，后续填充可能会对边界造成平滑。