Robust Video Super-Resolution with Learned Temporal Dynamics

发表在ICCV2017。

帧间的时间关系，帧内的空间关系。

主要有两个工作：

时间自适应网络和空间对齐网络。

 可以看到空间对齐网络是时间自适应网络的预处理阶段，将对齐的视频帧和参考帧作为时间自适应网络的输入。

时间自适应网络主要包括两个部分：SR推断分支和时间调制分支，SR分支采用ESPCN作为对不同数量的连续视频帧超分处理的方法，时间调制分支是为了对每个推断的分支生成像素级的权重图，最后将两个分支的结果对应点乘并聚合。两个分支的网络结构都是一样的，只是时间调制分支是将最长的帧序列作为输入。

 空间对齐网络首先将源帧和目标帧输入到定位网络去预测空间变换参数，然后在空间变换层应用这些参数去将LR图像进行对齐。定位网络有两个卷 积层，每个卷积层有32个9*9大小的卷积核，并且有核大小为2，步长为2的最大池化层，然后是两个全连接层，依次有100个结点和2个结点，回归得到两个变换参数。实际是在块级别进行训练，以便更好地进行运动建模，并且只保留了块的中心区域，避免在变换后出现边界附近的空白区域。在采用光流对齐时使用的是rectified光流对齐避免插值导致模糊和伪影。在预测参数和生成最后的HR视频帧的时候使用了MSE损失。

在训练时使用的是联合学习：