论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation

前言:视频插帧方法CAIN,不用光流的pixelshuffle+channel attention的方法
论文地址:【here】
代码地址:【here】

Channel Attention Is All You Need for Video Frame Interpolation

前言

目前的一些视频插帧方法多用到光流
但是基于光流插帧的方法有以下缺点:
第一:计算量大
第二:有的方法在训练的时候用到了光流做真值,which is tricky因为真实的运动信息并不可得;
这篇文章用得到了pixelshuffle的方法+通道注意力,可以不用光流实现有效的视频插帧

补充知识Pixelshuffle

即把空间像素分辨率(相邻顺序排列)化成通道数
参考论文:Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation_第1张图片

网络架构

论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation_第2张图片

  • 将左右两帧pixelshuffle后在通道域cat起来
  • 然后过resGroup模块(利用了通道注意力)
  • 最后upshuffle回原尺寸
    其中,pixelshuffle的参数设置
    s=8,即长宽伸缩8倍,通道数64,原RGB三通道变成了364=192,cat上左右两张图的通道,即1922=384,过一个初始的33卷积层,将通道数降到192

其中,resGroup的结构如下
论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation_第3张图片
其中resGroup接了5个,每个里面有12个RCAblock
CA为通道注意力模块,att(F)指代的就是注意力权重,具体公式为
在这里插入图片描述
可看成上图右侧CA module图中竖直下来的那个分支
至此,网络设计就完成了

实验

对比实验(其中FILM数据集是自制的)
感觉通道注意力提升效果并不明显
论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation_第4张图片
参数量
参数量减少优势不明显,但是memery减少了不少,这就去我4G显存的电脑跑下试试看
论文阅读 | Channel Attention Is All You Need for Video Frame Interpolation_第5张图片

总结

利用pixelshuffle降显存和参数量,并用到了通道注意力

你可能感兴趣的:(论文阅读,深度学习,计算机视觉)