论文阅读《Group-wise Correlation Stereo Network》

previous(cost volume)：

传统 1 cross-correlation(correlation层，特征相似性)

缺点：虽然以有效的方式计算特征相似性，在每个视差级别只产生的单通道的correlation map，损失了一部分信息

传统 2 left right features 在所有视差级别级联

缺点：不含相关性，从头学习相似性度量，更多参数

 

本文提出的group-wise correlation是对两种传统方法的结合：

left & right features -> 沿通道维度分组 -> 计算相关图 -> 匹配代价 ->打包到一个4D cost volume

综合：非单通道的correlation map，有特征相似性度量

重点来了！

1. DispnetC:：沿所有通道维度
2. PSMNet聚合邻域像素的上下文特征与视差，结合3DCNN，预测视差概率
3. GwcNet：对特征组在所有视差级别d计算相关性，计算所有组所有视差级相关图

4 Parts：

1. Unary feature extraction：

        像PSMNet，无金字塔池化，级联conv2 conv3 conv4组成320通道

    2. Cost volume：

 

      concat （volume + Group-corrVolume）

     

      tip:  fewer channels的PSMNet的concatenation  两个卷积压缩到12个通道

    3. 3D aggregation

        从邻域视差和像素聚合特征，预测refined cost volume

       pre-hourglass module：4个3D卷积 + BN + Relu

       3个encoder-decoder结构细化低纹理级的模糊和遮挡部分

      每个输出模块预测一个视差图

      每个相应的特征组中计算一次，聚合多个candidates proposals去回归视差

      优势：

      充分利用传统correlation matching cost的特点

      加入了相似性度量特征，不必再从头计算导致的更多参数

   4. Output module

      对cost volume下采样，沿视差维度，softmax函数，converted into a probability volume

      视差回归与损失函数同PSMNet

 

相对PSMNet的改进：

1. 加入一个辅助输出模块output 0

         原因：extra auxiliary loss使网络在底层学习到更好的特征，有益于最终预测

    2. Remove部分链接，节约计算成本

    3. 1*1*1 3D卷积，添加到每一个沙漏模块的shortcut connections