论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

前言:ABME发表在ICCV2021,也是一篇基于光流做插帧的文章
论文地址:【here】
代码:【here】

Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

引言

大多数插帧的方法都是基于光流
光流方法又可以分为前向流方法和后向流
前向流方便求得,但是容易造成空洞和重叠
后向流由于中间帧的缺失,大多方法采用近似的办法,但是近似会造成误差
这篇文章利用光流,提出了一个不对称的光流算法,
首先, 用对称流求得中间的锚定帧
其次,利用锚定帧求出两边的不对称光流
最后,利用对称的光流和不对称的光流,得到最后的插帧图像

网络架构

论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第1张图片
从左至右分别是

  • 对称双边光流估计
  • 锚定帧生成
  • 不对称的光流估计网络ABMRnet
  • 帧合成网络

对称双边光流估计

用BMBE的方法,求得对称后向流

锚定帧生成

在原有的后向流合成公式中
在这里插入图片描述
加入带有遮挡的mask
论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第2张图片

不对称的光流估计网络ABMRnet

网络如下
论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第3张图片
修改自PWC,其中也加了Mask 和offsetmap来对遮挡进行处理

帧合成网络

论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第4张图片

左右两边两张图和对应的对称的不对称的后向流输入,并warp,两边的网络共享权重
中间的网络主要为两部分 ,filternet和refinenet
这两个的网络结构都来自Gridnet,用于处理不同尺度的输入的融合问题
论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第5张图片
其中 filternet采用动态局部卷积lareral block
refinenet用于生成残差来优化结果

实验结果

论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation_第6张图片
可见要比BMBC效果好,参数量也更小

总结:这篇文章里的第二章有很详细的对前向warping和后向warping的总结归纳,在有的之前的文章这一块是略过的,还是讲的很清晰,但是还是觉得网络设计得有些复杂了,设计和沿用了很多新的模块

你可能感兴趣的:(论文阅读)