论文阅读 | BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

前言：ECCV2020一篇做插帧的文章，看到很多后来的文章（timelens,flavr）在新的数据集上测效果还可以，来拜读一下
ps:论文里真的用了好多“yield”，好不习惯…
论文地址：【here】
代码链接：【here】

BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

介绍

目前做插帧的方法大多都用到了光流，但是只用光流的前向warp的话会造成重影和孔洞

However, the forward warping may cause interpolation artifacts because of the hole and overlapped pixel problems.

因此要利用 上后向warp，然而用到后向warp就需要估计中间运动，
这篇文章提出了一个基于双边运动估计的深度学习架构，包含了双边运动估计网络，更准确的估计中间运动

网络结构

1. 双边运动估计网络
2. 双边运动近似网络
3. 帧合成网络
4. 图像纹理特征提取网络（conv1 layer of ResNet-18）
5. warp操作

其中经过了运动估计和运动近似网络的双边光流扭曲后，会得到六对warp后的图像和特征

双边运动估计网络

第一种方法，直接用改进的PWC网络来估计 t-0，t-1的光流
网络的示意如下：

其中c0_l是指第l层的特征，而V~是上一层第l-1层的光流，这里主要的改进是提出了一个Bilateral Cost Volume。
之前的光流估计中的cost volume必须有两个已知的图像才能求得，即算光流扭曲后的图像的像素级相关性，可以参考这篇博客

在这里，作者提出了一个双边的Cost Volume

对比PWC里的cost volume，x1x2分别表示warp前后特征的像素索引


因此可以用这个方法直接估计双边运动，即pipeline第二行的运动估计，这样可以得到两个直接估计出来的运动Vt-0Vt-1

第二种方法是用PWC估计两端的运动，再利用估计的运动线性性质，来估计中间的双边运动，文中用下图说明

比如实际估计的运动是图a,但是可以用前向光流0-1，利用公式估计出图b,注意，由于运动要反转所以用虚线表示

还可以用图a的后向光流1-0估计出图c

因此，结合上述两类情况，可以得到六个光流

• vt-0 vt-1(来自双边运动估计)
• vt-0 vt-1 v1-t v0-t（来自运动估计+运动近似）

用这六个光流得到六对warp后的图像和特征

帧合成网络

提出了一个动态滤波器网络合成不同的特征

通过滤波器来过滤候选帧,公式如下

实验结果

对比实验