论文阅读 | Context-aware Synthesis for Video Frame Interpolation

前言:CVPR2018的一篇经典的视频插帧的文章
论文地址:【here】

Context-aware Synthesis for Video Frame Interpolation

引言

目前一些做插帧的文章,对于前后warp后的帧融合通常采用权重相乘再相加,即(1-t)I0 +tI1
这样做是基于像素级的,并不能很好的融合两者的warp后的各自优势
本文提出了一种语义融合方式 ,更好的融合光流warp后的两帧以及各自的语义特征

网络架构

论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第1张图片
光流估计器:估计两帧之间的光流,再通过1-t和t的缩放得到两帧到中间帧的前向流,作者对比了SPyNet的光流方法后,这里采用的是PWCNet估计两端的流
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第2张图片
特征提取器::这里用的是ResNet18的第一层conv1,作者对比了不同的特征提取,比如VGG19第一二层
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第3张图片
融合模块:GridNet(GridNet在我发布的上一篇文章中有详细介绍)
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第4张图片
作者也对不同的融合方式进行了消融实验,可以看到这种学习的融合方式提升了至少2dB
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第5张图片

实验

除了上述的网络选择的三个消融实验,作者还做了
损失函数对比
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第6张图片
可见拉普拉斯损失性能最好

middlebury上的对比实验
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第7张图片
可以看到,该方法性能最好

GridNet的改进
把Gridnet上采样的转置卷积改成双线性插值,会减少伪影
论文阅读 | Context-aware Synthesis for Video Frame Interpolation_第8张图片

总结

这篇文章做了很丰富的实验,一些实验也很有启发性,就是对比实验参照的数据集有点少

你可能感兴趣的:(论文阅读,深度学习,人工智能)