[论文笔记] Learning Parallax Attention for Stereo Image Super-Resolution (CVPR2019)

1. 简介

本文出自国防科大，提出了一个立体图像超分辨率重建的方法，主要创新点是基于视差的注意力机制 parallax attention，来建模立体图像的对应关系。另外，采用Residual ASPP 提取丰富的上下文特征，这种大感受野和多尺度的特征学习可以提取更有辨别力的特征。

首先分别提取两图像特征，然后PAM计算相似性和对齐，最后聚合特征，生成SR。

2. 方法

2.2 Residual ASPP

增大感受野，学习多尺度特征，丰富了卷积多样性。

2.1 视差注意力 parallax attention

与传统的self-attention注意力不同，parallax attention主要建模A图像的像素 $x$ 与互补图像B上对应的对极线 $I$ （立体图像中，对极线即为同一行的像素）上所有像素 $x^1$ 的相似性关系生成 $M_{B\to A}$，然后根据parallax attention map ,可以将B图像信息映射到A图像空间中。因为只计算对极线上像素的相似性，所以M大小为 H X W X W，

由于视差注意力机制只关注对极线上的相似特征，所以生成的注意力图是稀疏的。

多任务学习 另外，如果不同任务使用同样的特征会导致训练矛盾（training conflicts，也就是多任务学习中，不同任务需要的特征是不同的），在PAM中，引入transition resblock，令学习attention map （特征S） 和提供SR特征(特征R)两个任务特征不同。

左右一致性和循环一致性 与图像运动补偿类似，B通过$M_{B\to A}$转换的图像B和参考图像A应该接近，这称为左右一致性（left-right consistency）。而使用$M_{B\to A}$和$M_{A\to B}$两次转换后，应与原图像接近，这称为循环一致性(cycle consistency). 左右一致性：

循环一致性：

循环一致性矩阵的计算方式：

遮挡问题 直接使用以上两个一致性约束，不考虑遮挡会损害训练效果。如果考虑遮挡问题？本文使用一个有效掩码V（Valid Mask）来指示遮挡区域，让一致性约束只作用在非遮挡区域。作者观察发现，PA中遮挡区域对应的区域数值较小，所以直接设置一个阈值，判断是否为遮挡区域。

2.3 损失函数

SR Loss

Photometric Loss 左右一致性损失，只作用在V定义的有效区域，

Smooth Loss ，attention map应该是平滑的，一阶梯度损失

Cycle Loss，循环一致性损失

总的损失函数

3. 实验

PAM对于效果提升挺大的，另外transition residual block和ASPP作用也挺大。