PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume

文章提出了一种用于光流估计的CNN模型，包括了三个部分：金字塔(Pyramid)，扭曲(Warping)，代价体积(Cost Volume)。每个画面有前后两个图，用第一个图的估计光流扭曲第二个图的CNN特征，将扭曲后的特征以及第一个图的特征构造一个代价体积，再来估计光流。

主要原理：

左边是传统的coarese-to-fine方法，右边是这篇文章提出的PWC网络。

第一幅图的光流扭曲第二幅图特征的公式。

第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。

 

 

损失函数。

主要实验结果：

不同模型的效果对比。

评价指标：EPE(Endpoint Error)，是光流估计中标准的误差度量，是预测光流向量与真实光流向量的欧氏距离在所有像素上的均值。

虽然和别的模型相比PWC-Net的误差不是最小，但是在差别不大的情况下，明显提高了效率。我不是很清楚哪个要素更加关键，可能在自动驾驶领域计算时间是很重要的指标。

PWC-Net在训练集上的表现不如其他的，但是在测试集上明显要好很多。

在自动驾驶领域的数据集上表现还是不错的。

在前景、后景、全景和非遮挡像素、所有像素下的正确率对比。

是否启用三个模块的效果对比。

PWC-Net的效果展示。