论文研读：2015 FlowNet Learning Optical Flow with Convolutional Networks

简介：本文是2015年CVPR上一篇关于将CNN用于optical flow估计的文章；创新之处在于首次将监督学习的CNN用于光流估计；并且针对ground truth数据集不足的问题，提出了Flying Chairs datasets

摘要

1.本文提出的CNN估计光流，是监督学习方法。

2.提出了两种网络结构：

1）普通CNN结构
2）带有Corr layer的CNN结构

3.针对现有的监督学习数据集不足的问题，合成了flying chairs数据集

4.实验表明：利用合成训练集训练的网络面对真实数据KITTI，Sintel时，也有不错的表现效果。

网络结构

1.CNN的pooling导致分辨率的下降，希望输出dense flow就必须对pooling之后的feature map进行refine；本文提出的方法，通过contracting part进行特征提取，通过expanding part去refine提高分辨率。

2.contracting part（包含pooling的压缩层）：

1）FlowNetSimple：两幅图片一起输入，让网络自己学习如何处理；即最原始的CNN结构
2）FlowNetCorr：两幅图片分别输入后在通过Corr layer汇合，汇合之后网络层的作用类似与匹配。

3.Corr layer的匹配功能描述：

1）输入：f1，f2两张特征图whc
2）处理过程：将f1中的每一个patch与f2中的每一个patch作对比。如下：x1是来自f1的patch，x2是来自f2的patch，两者的相关性用以下公式衡量

这个公式本质上是一个卷积层，只不过卷积层的权重变成了x2，即feature map的数据块。
对f1，f2所有图像块的处理，涉及大量的运算，不利于实时性；因此为了简化运算，只比较一定位移范围内的patch（大位移匹配的可能性不大）。
3）简化运算过程：最大位移量为d；对于x1的patch，只计算x2对应位置2d+1邻域内的patch。
4）输出：whD²每一个位置都有一个D²向量；为了反向传播本文实现了此层的导数。

4.expanding part

简介：由upconvolutional层组成：unpooling+convolution；
1）处理过程：为了refine，将①upconv之后的feature map+②contracting之后的feature map+③超分辨的光流粗估计map进行concatenate；
2）进行concatenate的目的：CNN深层的layer感受野越大，信息越global；浅层的layer感受野越小，信息越local；将深层的coarse map提供的global信息与浅层的layer提供的local信息进行组合。
3）输出：输出的分辨率为原图像分辨率的1/4；
4）如果继续使用expanding part带来的效果不如使用双线性插值法。

4.变分细化：结合了一部分传统方法

简介：另一种方法中，没有使用双线性插值，而是使用的传统变分方法来提高分辨率。
1）输入：原图1/4分辨率的光流图
2）处理过程：[6]中的粗到精的方法迭代20次；对最终分辨率的图像迭代5次；
3）特点：相对于双线性插值，计算量更大；但是最终获得的光流图效果更好。

训练数据集

1.现有数据集

1）Middlebury：仅有8对，并且是小位移；
2）KITTI：数据量丰富，包含大位移；来源于真实世界；假设场景为刚体并且从移动的观测设备是拍摄得到；由于远距离物体移动量小，所以获得的光流是稀疏的；
3）Sintel：从合成场景中获取的ground-truth，合成场景具有许多真实场景的性质；第一个版本：包含运动模糊、雾霾等环境影响；
第二个版本：不包含以上影响。

2.本文提出的Flying Chairs