ParticleSfM：Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild——论文笔记

参考代码：particle-sfm

1. 概述

介绍：基于运动恢复的重建算法其前提假设是所处的是静态场景，但在实际过程中该假设可能是不成立的，这就会导致位姿估计不准确和场景重建出错。为了处理动态场景问题，文章引入视频帧间光流信息作为输入，通过帧间光流信息构建多帧之间初始逐像素传导路径，并由这些路径通过网络推理得到场景中众多路径是否为属于运动物体，同时可以根据路径分类信息得到场景中运动目标的“分割mask”（与传统mask不一样，类似于点集的形式）。之后位姿估计和场景重建均在去除了运动目标区域（其中的像素）的基础上使用估计出的像素运动路径进行（替换了传统方案中的特征检测+匹配跟踪），从而极大提升了位姿估计和场景重建的准确性。

下图展示了文章方法得到的稠密重建结果：

2. 方法设计

2.1 整体pipeline

文章方法的整体pipeline见下图所示：

结合上图中的内容可以将完整步骤划分为：

• 1）帧间光流抽取像素运动路径：通过RAFT光流估计算法估计出帧间稠密光流信息，进而得到像素在多帧之间的转移轨迹，这些轨迹的更新与否（新的帧中像素是否加入）可通过设定的策略确定，一般为遇到遮挡不满足像素一致性假设而路径构建终止。
• 2）像素运动路径是否属于运动判定：对于抽取出的像素路径会经过统一补全之后结合深度新信息（源自与Midas深度估计网络）估计路径是否属于运动目标的分类结果。
• 3）排除运动目标进行位姿估计和场景重建：去除被路径分割网络判定为属于运动目标的像素，并用剩余的像素进行位姿估计和场景重建。

2.2 像素运动路径建立

使用RAFT光流估计算法估计帧$I_0,I_1,I_2$之间的光流$F_{0\to 1},F_{1\to 2}$，则按照光流的定义可以得到像素的传导关系：
$$p_1^{}$$