Learning Parallax Attention for Stereo Image Super-Resolution

原论文地址：https://arxiv.org/pdf/1903.05784.pdf

1、超分辨率（SR）旨在从其低分辨率（LR）对应物重建高分辨率（HR）图像。

2、我们的主要贡献可归纳如下：

1）我们通过结合立体声对应提出SR的PASSRnet;

2）我们引入了一种通用的视差注意机制，它具有沿着极线的全局接收场，以处理具有大的视差变化的不同立体图像。结果表明，视差注意机制可以有效地产生可靠的对应关系，以提高SR性能;

3）我们提出了一个新的数据集，即Flickr1024，用于训练立体图像SR网络。Flickr1024数据集由1024个高质量立体图像对组成，涵盖多种场景;

4）与最近的单图像SR和立体图像SR方法相比，我们的PASSRnet实现了最先进的性能。

 

3、Residual ASPP Block：扩大接收场并提取具有密集像素采样率和尺度的分层特征

由交替级联残差ASPP块和残差块构成，输入特征首先被馈送到残余ASPP块以生成多尺度特征。然后将这些得到的特征发送到残差块以进行特征融合。该结构重复两次以产生最终特征。在每个残余ASPP区块内（如上图（b）所示），我们首先将三个扩张的卷积（扩张率为1,4,8）组合成一个ASPP组，然后以剩余方式级联三个ASPP组。我们的剩余ASPP块不仅扩大了接收场，而且丰富了卷积的多样性，从而形成了具有不同接收区域和扩张率的卷积集合。

 4、PAM：捕获立体图像中的全局对应，有效地整合了立体图像对的信息

视差注意机制PAM的体系结构如上图（c）所示。给定两个特征映射A，B ，它们被馈送到转换残余块以生成A0和B0。然后，将A0馈送到1*1卷积层以产生查询特征映射Q 。同时，B0被馈送到另一个1*1卷积层以产生S ，然后将其重新整形为。然后在Q和S之间执行分批矩阵乘法，并且应用softmax层，从而产生视差注意力图MB→A 。接下来，将B馈送到1*1卷积以生成R ，其进一步乘以MB→A以产生特征O 。作为所有可能的差异的特征的加权和，然后将O与其对应的局部特征A进行积分。由于PAM可以使用特征相似性逐渐关注精确差异的特征，因此可以捕获对应关系。注意，一旦MB→A准备好，交换A和B以产生MA→B以产生有效的掩模。最后，堆叠的特征和有效的掩模被馈送到1*1卷积层以进行特征融合。