CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

FlowNet: Learning Optical Flow with Convolutional Networks
ICCV2015
Code: https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/

本文使用CNN网络来计算光流，实现端对端训练，自己制作了个训练数据库 Flying Chairs

1. Network Architectures
   因为最后的结果需要得到像素级别的，所以需要对CNN网络得到卷积特征图进行方法

光流计算的输入是一个图像对，这里我们尝试了两个网络结构 FlowNetSimple (top) and FlowNetCorr (bottom)

FlowNetSimple 直接将两个图像放到一起输入网络
FlowNetCorr 首先分别处理单个图像，然后再用一个 correlation layer 将两个图像的特征结合起来

特征图放大网络结构 Expanding part

经过 Expanding part 处理，CNN 特征图放大了4倍，和输入图像尺寸相比缩小了4倍，再放大4倍达到输入图像尺寸有两种方法：
1）FCN中的 bilinear upsampling
2）Variational refinement

4.1. Existing Datasets

合成的数据库Flying Chairs

1. Experiments
   

FlowNet2.0 就比较厉害了！