论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks

简介:本文是2015年CVPR上一篇关于将CNN用于optical flow估计的文章;创新之处在于首次将监督学习的CNN用于光流估计;并且针对ground truth数据集不足的问题,提出了Flying Chairs datasets
论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks_第1张图片

摘要

1.本文提出的CNN估计光流,是监督学习方法。
2.提出了两种网络结构:

1)普通CNN结构
2)带有Corr layer的CNN结构

3.针对现有的监督学习数据集不足的问题,合成了flying chairs数据集
4.实验表明:利用合成训练集训练的网络面对真实数据KITTI,Sintel时,也有不错的表现效果。

论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks_第2张图片
论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks_第3张图片

网络结构

1.CNN的pooling导致分辨率的下降,希望输出dense flow就必须对pooling之后的feature map进行refine;本文提出的方法,通过contracting part进行特征提取,通过expanding part去refine提高分辨率。
2.contracting part(包含pooling的压缩层):

1)FlowNetSimple:两幅图片一起输入,让网络自己学习如何处理;即最原始的CNN结构
2)FlowNetCorr:两幅图片分别输入后在通过Corr layer汇合,汇合之后网络层的作用类似与匹配。

3.Corr layer的匹配功能描述:

1)输入:f1,f2两张特征图whc
2)处理过程:将f1中的每一个patch与f2中的每一个patch作对比。如下:x1是来自f1的patch,x2是来自f2的patch,两者的相关性用以下公式衡量在这里插入图片描述

这个公式本质上是一个卷积层,只不过卷积层的权重变成了x2,即feature map的数据块。
对f1,f2所有图像块的处理,涉及大量的运算,不利于实时性;因此为了简化运算,只比较一定位移范围内的patch(大位移匹配的可能性不大)。
3)简化运算过程:最大位移量为d;对于x1的patch,只计算x2对应位置2d+1邻域内的patch。
4)输出:whD2每一个位置都有一个D2向量;为了反向传播本文实现了此层的导数。

4.expanding part

简介:由upconvolutional层组成:unpooling+convolution;
1)处理过程:为了refine,将①upconv之后的feature map+②contracting之后的feature map+③超分辨的光流粗估计map进行concatenate;
2)进行concatenate的目的:CNN深层的layer感受野越大,信息越global;浅层的layer感受野越小,信息越local;将深层的coarse map提供的global信息与浅层的layer提供的local信息进行组合。
3)输出:输出的分辨率为原图像分辨率的1/4;
4)如果继续使用expanding part带来的效果不如使用双线性插值法。

4.变分细化:结合了一部分传统方法

简介:另一种方法中,没有使用双线性插值,而是使用的传统变分方法来提高分辨率。
1)输入:原图1/4分辨率的光流图
2)处理过程:[6]中的粗到精的方法迭代20次;对最终分辨率的图像迭代5次;
3)特点:相对于双线性插值,计算量更大;但是最终获得的光流图效果更好。
论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks_第4张图片

训练数据集

1.现有数据集


1)Middlebury:仅有8对,并且是小位移;
2)KITTI:数据量丰富,包含大位移;来源于真实世界;假设场景为刚体并且从移动的观测设备是拍摄得到;由于远距离物体移动量小,所以获得的光流是稀疏的;
3)Sintel:从合成场景中获取的ground-truth,合成场景具有许多真实场景的性质;第一个版本:包含运动模糊、雾霾等环境影响;
第二个版本:不包含以上影响。

2.本文提出的Flying Chairs

论文研读:2015 FlowNet Learning Optical Flow with Convolutional Networks_第5张图片

你可能感兴趣的:(学生)