视频超分——15 STFAN

Spatio-Temporal Filter Adaptive Network for Video Deblurring

参考资料：

• Github/pytorch：https://github.com/sczhou/STFAN

主要创新点:

1. 提出了滤波器自适应卷积层(FAC)，将生成的按元素卷积的滤波器应用于特征转换
2. 提出了一种新的时空滤波自适应网络(STFAN)用于视频去模糊

FAC层：

网络框架：

论文简要：

1. 论文的动机就是现在的方法太依赖光流估计的准确性了，然后它提出一个不需要光流估计的网络。
2. 文章的主要贡献就提出一个FAC 层，还有STFAN网络。
   FAC层，生成的滤波器的 就是一个hwck平方，对于每个channel上的一个点，（x,y,ci）都会有一个对应kk的滤波器。
   
   这个公式就是，每个channel上的每个点和对应的局部k*k的滤波器进行卷积。
3. . 另外，就是这个网络，由一个特征提取器，还有STFAN网络，还有重建层构成。

特征提取器，就是对第t帧的模糊图片提取特征，用三层卷积层，还有6个残差块构成。 重建层，就是由两层反卷积层和4个残差块构成。

主要看一下STFAN
STFAN，就是这样，将t-1帧模糊的图片，t-1帧重建后的图片，还有第t帧模糊的图片concat起来，输入这个encoder 得到Tt，这个encoder 就包括3层卷积层和6个残差块。

对齐滤波器生成器g_align将提取的 图像特征T_t作为输入， 通过两个卷积层和两个残差块得到的 来得到 这个待会用来对齐的 自适应的滤波器 Falign

中间的这部分再经过一层卷积缩小channel，和之前的T_t concat 起来，也是通过两个卷积层和两个残差块得到 这个待会用来去模糊的 自适应滤波器 Fdeblur

通过这边就得到两个自适应的滤波器，一个是用来对齐用的，一个是用来去模糊用的。
自适应的对齐滤波器，就和t-1帧去模糊后的feature map 进行 FAC的卷积操作
自适应的去模糊滤波器，就和当前模糊帧的feature map 也进行FAC的卷积操作
最后concat 起来，就是输出这个 既对齐又去模糊后的特征。
另外的话，还会通过一层卷积，将这个特征传给下一帧。

Loss 就是 mse loss + vgg loss

论文的主要内容：