阅读FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation

FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation

​ cvpr 2021 开源代码地址
和光流的RAFT有很大的相同之处。

一：Idea

​ 传统的基于学习的端到端三维流学习方法的泛化能力较差

​ 提出了一个循环架构，它学习了展开迭代对齐过程的单个步骤，用于精炼场景流预测。

​ 我们建议在更深、更低分辨率的空间中有效地使用它

主要Idea来源

• RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

Problem Definition Scene

常规定义方式之外

对于source中的有些点没有出现在target中的情况，因此本文作者不是想学习 S 到 T 的一一对应关系，而想学习 S中每个点的流表示

Due to both the sparsity of the 3D data and possible occlusions, a point p′_i may not be presented in T. Therefore, we do not learn the correspondence between S and T, but a flow representation for each point p_i ∈ S.

二：Architecture

1. First, we use a global correlation unit to guide the alignment in an all-to-all approach
2. unroll a local update unit , to learn movement refinements. Our local update unit implements a sin- gle conceptual iteration of an Iterative-Closest-Point (ICP) algorithm。
3. The number of iterations K is a hyper-parameter
   2.1 Local And Global Features Encoding

​ 一个关键的部分是区分局部特征和全局特征。

g _θ(S) 和 g_θ(T) 代表局部特征提取。
h _θ(g _θ(S))和 h_θ(g_θ(T)) 代表全局特征提取。

2.2 Global Correlation Unit
目的：We use a global correlation unit to estimate the initial
scene flow F₁ based on a deep, coarse all-to-all mechanism
框架：

计算一个粗糙的全对全相关矩阵(all-to-all correlation matrix)M

然后用指数函数推导出一个软相关矩阵:

Global Flow Estimation

将计算得到的相关矩阵嵌入到欧-克利德空间(in the euclidean space)中，我们使用了一个简单的矩阵乘法

2.3 Local Update Unit

• Local Correlation

  为了推导弯曲源（the warped source）的局部特征与目标（的相关性，我们采用FlowNet3D[21]提出的流嵌入(e flow embedding)相关层。提出的相关层集合了局部邻域内点的特征相似度和空间关系，适合于局部细化。target）

• Gated Recurrent Unit (GRU)

  Inspired by RAFT,我们使用一个基于GRU细胞(GRU cell)设计的门控激活单元作为我们的更新机制
  
  其中X_k代表着为warped source’s local features、local flow embedding、previous iteration flow和previous iteration flow’s features的串联
  具体描述为
  
  Training Loss Functions
  ​ 根据自监督和无监督选择。
  

• Self-supervised Loss
  Chamfer Loss
  
  Regularization Loss
  
  Fully-supervised Loss
  
  
  三：实验结果