Just Go with the Flow: Self-Supervised Scene Flow Estimation[CVPR2020 Oral]

[论文链接]

\qquad 现有的估计场景流的方法都需要有标注的场景流数据去使用监督的方法训练网络。本文作者提出了使用两个自监督损失函数训练（场景流估计）网络的方法，这两个损失函数分别基于最近邻和cycle consistency（不知道该怎么翻译。。。）。自监督的训练方法使得大量没有标注信息的自动驾驶数据集可以用于训练网络。使用本篇文章自监督方法训练的网络，表现与目前最好的使用监督方法学习的网络效果相当。如果使用自监督训练并在小规模标注数据上监督学习，可以得到超越当前最好方法的表现。

\qquad 假定估计的流为$\hat{\mathcal{D}}=\{\widehat{d_i}{\}}^N$，真实流为${\mathcal{D}}^{\ast }=\{d_i^{\ast }{\}}^N$。则监督损失函数定义为：
$${\mathcal{L}}_{gt}=\frac{1}{N}\sum _i^N||d_i^{\ast }-{\hat{d}}_i|{|}^2$$
上述的损失函数是有用的，因为它数学等价于终点误差，论文中使用它作为评估度量。合成数据上流的标注很好计算，然而对于真实数据就需要大量的人工标注。而且有标注的场景流数据集很少。已有的工作表明在合成数据上训练，在目标应用域的真数据上fine-tuning可以得到很大的提升。

\qquad 接下来介绍一下文章提出的两个无监督的loss，假设$\mathcal{X}$为在时刻t捕捉到的点云，$\mathcal{Y}$为在时刻t+1捕捉到的点云，$\mathcal{D}=\{d_i{\}}^N,d_i\in {\mathbb{R}}^3$为两帧点云之间的场景流。
\qquad Nearest Neighbor (NN) Loss 在未标注的数据集中，并没有关于$d_i^{\ast }$的信息，因此也不能使用上面提到的损失函数。受到ICP算法的启发，这里用变形后点的最近邻${\hat{x}}_i^{\prime }=x_i+{\hat{d}}_i$作为正确对应点的近似。对于每个变形后的点${\hat{x}}_i^{\prime }\in \widehat{{\mathcal{X}}^{\prime }}$，在t+1帧中找到它的最近邻$y_i\in \mathcal{Y}$并计算他们之间的距离，如下图$(a)$中$e_{NN}$所示：
$${\mathcal{L}}_{NN}=\frac{1}{N}\sum _i^N\underset{y_i\in \mathcal{Y}}{\min }||{\hat{x}}_i^{\prime }-y_i|{|}^2$$

这个loss可以使得变形的点云与目标点云更加接近。但也有一定的缺点，首先如上图$(a)$所示，找到的最近邻并不一定是变形点应该正确对应的点。再者，在点云稀疏的情况下，并不一定能找到对应点。以上情况可能导致0 loss的出现。所以提出了如下的 Cycle Consistency Loss。
\qquad Cycle Consistency Loss 为解决上述问题，引入了另一个自监督损失，如上图$(b)$所示。先估计一个前向的流$\hat{\mathcal{D}}=g(\mathcal{X},\mathcal{Y})$，每个点$x_i$的流${\hat{d}}_i\in \hat{\mathcal{D}}$ 给定了一个在下一帧中估计的点${\hat{x}}_i^{\prime }=x_i+{\hat{d}}_i$。然后从相反的方向估计流：对每个变形的点${\hat{x}}_i^{\prime }$估计一个流（$\widehat{{\mathcal{D}}^{\prime }}=g(\widehat{{\mathcal{X}}^{\prime }},\mathcal{X})$）将其变换回初始的帧中。用反向的流$\widehat{d_i^{\prime }}$变换每个点${\hat{x}}_i^{\prime }$会得到一个新的点${\hat{x}}_i^{\prime \prime }$。如果前向和反向的流均正确，那么这个新的点${\hat{x}}_i^{\prime \prime }$应该和原始点$x_i$相同。这些点之间的误差$e_{cycle}$就是cycle consistency loss：
$${\mathcal{L}}_{cycle}=\sum _i^N||{\hat{x}}_i^{\prime \prime }-x_i|{|}^2$$
然而实际上这样实现cycle loss进行自监督训练时并不能得到稳定的结果。原因是估计的流导致变形点云的结构发生畸变，而畸变的点云又作为反向流估计的输入。为了解决畸变问题，文中使用变换点${\hat{x}}_i^{\prime }$在t+1帧中的最近邻$y_i$作为反向传播的锚点。最近邻$y_i$的使用，可以在循环中稳定变形点云结构的同时保持点的对应关系。效果如下图所示。由于锚点作为循环反向传播的一部分，所以这个loss称作“anchored cycle consistency loss”。

\qquad 计算反向流的具体过程如下：
$(1)$ 首先计算前向流$\hat{\mathcal{D}}=g(\mathcal{X},\mathcal{Y})$;
$(2)$ 根据前向流计算变形的点云：${\hat{x}}_i^{\prime }=x_i+{\hat{d}}_i$;
$(3)$ 锚点作为变形点和最近邻的组合来计算：$\overline{{\mathcal{X}}^{\prime }}=\{{\bar{x}}_i^{\prime }{\}}^N$，${\bar{x}}_i^{\prime }=\lambda {\hat{x}}_i^{\prime }+(1-\lambda )y_i$，其中$\lambda$在论文中的取值为0.5；
$(4)$ 用得到的锚点计算反向流，使用上面的方式计算cycle loss；
\qquad cycle consistency loss也会出现 0 loss的情况，但使用anchored cycle consistency loss后可以避免这种情况的出现。最后使用两个loss的和作为真实误差的稳定替代：$\mathcal{L}={\mathcal{L}}_{NN}+{\mathcal{L}}_{cycle}$。
\qquad 此外作者还使用了翻转训练集点云序列的方法增强数据集。