【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》

创新思想:

文章提出了一种用于光流估计的CNN模型,包括了三个部分:金字塔(Pyramid),扭曲(Warping),代价体积(Cost Volume)。每个画面有前后两个图,用第一个图的估计光流扭曲第二个图的CNN特征,将扭曲后的特征以及第一个图的特征构造一个代价体积,再来估计光流。

主要原理:

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第1张图片
左边是传统的coarese-to-fine方法,右边是这篇文章提出的PWC网络。

在这里插入图片描述
第一幅图的光流扭曲第二幅图特征的公式。

在这里插入图片描述
第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。

在这里插入图片描述
损失函数。

主要实验结果:

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第2张图片
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第3张图片
不同模型的效果对比。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第4张图片
评价指标:EPE(Endpoint Error),是光流估计中标准的误差度量,是预测光流向量与真实光流向量的欧氏距离在所有像素上的均值。

虽然和别的模型相比PWC-Net的误差不是最小,但是在差别不大的情况下,明显提高了效率。我不是很清楚哪个要素更加关键,可能在自动驾驶领域计算时间是很重要的指标。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第5张图片
PWC-Net在训练集上的表现不如其他的,但是在测试集上明显要好很多。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第6张图片
在自动驾驶领域的数据集上表现还是不错的。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第7张图片
在前景、后景、全景和非遮挡像素、所有像素下的正确率对比。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》_第8张图片
是否启用三个模块的效果对比。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
PWC-Net的效果展示。

你可能感兴趣的:(CV)