PFNL（ICCV2019 视频超分辨率 用Non-Local代替运动补偿）

Progressive Fusion Video Super-Resolution Network via Exploiting Non-Local Spatio-Temporal Correlations
文章地址：http://openaccess.thecvf.com/content_ICCV_2019/papers/Yi_Progressive_Fusion_Video_Super-Resolution_Network_via_Exploiting_Non-Local_Spatio-Temporal_Correlations_ICCV_2019_paper.pdf

摘要：

how to effectively fuse temporal information from consecutive frames plays an important role in video super-resolution
如何有效的融合连续帧之间的时序信息十分重要

we further introduce an improved non-local operation to avoid the complex motion estimation and motion compensation (ME&MC) procedures as in previous video SR approaches.
并且介绍了一种non-local的操作，通过这种方式可以避免复杂的运动估计和运动补偿，但是我真的没看出来为什么这就能够避免运动补偿，关键是图中的意思好像是让每个相邻的图像单独通过该模块

一：简介

现有方法的缺点。1、引入了过多的参数，导致训练和测试困难。2、不正确的运动估计会让效果表现变差

二、方法

主要由两大块网络构成：Progressive Fusion Network和Non-Local Residual Block

在Progressive Fusion Network网络部分，假设所有的帧数为5帧，这些输入首先进行一个3*3的卷积，然后cat起来，接着继续经过1*1的卷积降维度，并且分别与之前的输入cat,随后通过3*3的卷积进行降维度。

Non-Local Residual Block如上图所示，对原始的Non-Local做了稍微的改进，但是实在看不懂在网络中的作用。难道对每个单独的图像进行Non-Local Residual Block处理，就能够得到运动补偿的效果？

三、实验

损失函数：

实验还证明了采用Non-Local Residual Block比用运动补偿能够更好的提高效果。也就是说Non-Local Residual Block能取代运动补偿？

含有运动估计的网络需要引入新的子网络，所以需要额外的限制，具体体现在损失函数上面

NLRB相比于运动估算的方法，可以减少参数量，而且很容易插入到现有的网络中，也不需要额外的损失函数

Both STMC and SPMC require extra 53 K parameters for motion estimation, while one NLRB only costs about 14 K parameters.

与其他算法对比：

运行时间和参数量对比：

四、结论

In this paper, we propose a novel progressive fusion network that is able to make full use of spatio-temporal information among consecutive frames. We have introduced and improved the NLRB suitable for video SR, capturing longrange dependencies directly instead of adopting traditional ME&MC. The proposed network is able to outperform the state-of-the-art methods with fewer parameters and faster speed
红色部分意思是，通过采用NLRB 可以代替运动估计和补偿，但是NLR也就是对每个图像做个处理，并没有处理时序信息呀，所以怎么就能代替了？