[论文阅读-NeRF+SLAM]NeRF-SLAM：使用神经辐射场表征的实时稠密单目SLAM系统

NeRF-SLAM

NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields

第一个结合稠密单目SLAM和层次化体素神经辐射场（hierarchical volumetric neural radiance fields）的3D场景重建算法，能实时地用图像序列实现准确的辐射场构建，并且不需要位姿或深度输入。

核心思想是，使用一个稠密单目SLAM pipeline来估计相机位姿和稠密深度图以及它们的不确定度，用上述信息作为监督信号来训练NeRF场景表征

相关文献

Rosinol等人 基于方差对深度估计值赋予权重，然后将它们融合到体素表征中，从而构建准确的场景表征（3D网格）。

Rosinol et al. [23] further show that dense monocular SLAM can reconstruct faithful 3D meshes of the scene by weighting the depths estimated in dense SLAM by their marginal covariance, and subsequently fusing them in a volumetric representation

本文从上述工作中获得启发，用他们的方法来计算深度和位姿不确定度。但是将场景表征由 volumetric TSDF 换成了 hierarchical volumetric neural radiance field

Instant-NGP 用了 基于哈希的层次化体素表征 hash-based hierarchical volumetric representation 来表征场景，实现实时的神经辐射场训练。

Droid-SLAM 使用了SOTA的稠密光流估计架构（a state-of-the-art dense optical flow estimation architecture ）作为视觉里程计，同时，使用了降采样后的深度图来规避维度问题。

Droid-SLAM avoids the dimensionality problem by using downsampled depth maps that are subsequently upsampled using a learned upsampling operator

本文用Droid-SLAM作为前端（tracking frontend），使用了其预训练的权重

Method

本文算法包含tracking和mapping两个并行运行的线程，其中 tracking 作为前端，使用稠密单目（dense monocular）SLAM估计稠密深度图（dense depth maps）和相机位姿，同时会输出对深度和位姿的不确定度估计；mapping 后端使用前端的输出信息作为监督，训练一个辐射场（radiance field），其损失函数是颜色误差（color loss）和带权重的深度误差（depth loss weighted by the depths’ marginal covariances），权重值由先前的不确定度得到。

Tracking : Dense SLAM with Covariance

跟踪线程使用Driod-SLAM，由每个关键帧计算 dense depth maps 和位姿。

• 首先，计算两帧之间的稠密光流 ${\mathbf{p}}_{ij}$ 以及权重${\Sigma }_{{\mathbf{p}}_{ij}}$。这里使用的是与Raft类似的架构，其核心是 Convolutional GRU

• 然后利用光流（flow）和权重作为测量值，建立BA问题，其中用逆深度图（inverse depth maps）表示每个关键帧的3D几何，最终可以转化为线性最小二乘问题，需要求解线性方程组$Hx=b$，即
  $$\left[\begin{array}{cc}C& E\\ E^T& P\end{array}\right]\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{d}\end{array}\right]=\left[\begin{array}{c}\mathbf{v}\\ \mathbf{w}\end{array}\right]$$

• 为了解决这个线性最小二乘问题，先用 schur complement 方法将Hessian矩阵降维成 reduced camera matrix 。

  利用高斯消元法：
  $$\begin{array}{r}\left[\begin{array}{cc}I& -E{P}^{-1}\\ 0& I\end{array}\right]\left[\begin{array}{cc}C& E\\ E^T& P\end{array}\right]\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{d}\end{array}\right]=\left[\begin{array}{cc}I& -E{P}^{-1}\\ 0& I\end{array}\right]\left[\begin{array}{c}\mathbf{v}\\ \mathbf{w}\end{array}\right]\\ \left[\begin{array}{cc}C-E{P}^{-1}{E}^T& 0\\ E^T& P\end{array}\right]\left[\begin{array}{c}\Delta \mathbf{\xi }\\ \Delta \mathbf{d}\end{array}\right]=\left[\begin{array}{c}\mathbf{v}-E{P}^{-1}\mathbf{w}\\ \mathbf{w}\end{array}\right]\end{array}$$
  这样，得到 reduced camera matrix $H_T=C-E{P}^{-1}{E}^T$

• 然后采用 cholesky 分解，利用 front and back-substitution 求出位姿$T$，然后再求出深度$D$

  先求解$H_T\Delta \mathbf{\xi }=\mathbf{v}-E{P}^{-1}\mathbf{w}$（使用cholesky分解），得到位姿更新量$\Delta \mathbf{\xi }=[C-E{P}^{-1}{E}^T{]}^{-1}(\mathbf{v}-E{P}^{-1}\mathbf{w})$

  进而求深度更新量$\Delta \mathbf{d}=P^{-1}(\mathbf{w}-E^T\Delta \mathbf{\xi })$

  Cholesky分解求解线性方程组$AX=b$

  1. 对$A$作cholesky分解（$A$需要时对称正定矩阵）
     $$A=L{L}^T$$

  2. 原线性方程转换为$L{L}^{T}X=b$，令$LY=b$，求$Y$
     $$Y=L^{-1}b$$

  3. $L{L}^{T}X=LY⟶L^{T}X=Y$，求$X$
     $$X=L^{-T}Y$$

• 利用上一步计算出来的深度和位姿再一次计算光流${\mathbf{p}}_{ij}=\prod ({\mathbf{T}}_{ij}{\prod }^{-1}({\mathbf{p}}_i,{\mathbf{d}}_i))$并作为GRU的初始估计值

• 然后，计算稠密深度图和位姿的边缘协方差（marginal covariances）

  $$\begin{array}{rl}{\Sigma }_{\mathbf{d}}& =P^{-1}+P^{-T}{E}^T{\Sigma }_{\mathbf{T}}E{P}^{-1}\\ {\Sigma }_{\mathbf{T}}& =(L{L}^T{)}^{-1}\end{array}$$

  这里是怎么计算的？

  根据协方差矩阵、信息矩阵与边际概率（即本文中提到的marginal covariances）、条件概率的关系，$\mathbf{d},\mathbf{T}$的边际概率分别为协方差矩阵的左上元素和右下元素。

  而Hessian矩阵$H$就是信息矩阵，即协方差矩阵的逆，因此，首先要求协方差矩阵即为对$H$求逆

  利用 Schur complement 对$H$进行分解以便于求逆：
  $$H=\left[\begin{array}{cc}I& E{P}^{-1}\\ 0& I\end{array}\right]\left[\begin{array}{cc}C-E{P}^{-1}{E}^T& 0\\ 0& P\end{array}\right]\left[\begin{array}{cc}I& 0\\ P^{-1}{E}^T& I\end{array}\right]$$
  求逆：
  $$\Sigma =H^{-1}=\left[\begin{array}{cc}I& 0\\ -P^{-1}{E}^T& I\end{array}\right]\left[\begin{array}{cc}(C-E{P}^{-1}{E}^T{)}^{-1}& 0\\ 0& P^{-1}\end{array}\right]\left[\begin{array}{cc}I& -E{P}^{-1}\\ 0& I\end{array}\right]$$
  求对角元素：
  $$\begin{gathered} {\Sigma }_{\mathbf{T}}=(C-E{P}^{-1}{E}^T{)}^{-1}=(L{L}^T{)}^{-1} \\ {\Sigma }_{\mathbf{d}}=P^{-1}{E}^T(C-E{P}^{-1}{E}^T{)}^{-1}E{P}^{-1}+P^{-1}=P^{-1}+P^{-T}{E}^T{\Sigma }_{\mathbf{T}}E{P}^{-1} \end{gathered}$$

最后，将上面计算出来的信息（$\mathbf{D},\mathbf{T},{\Sigma }_{\mathbf{d}},{\Sigma }_{\mathbf{T}}$）作为监督来训练NeRF表征

Mapping: Probabilistic Volumetric NeRF

Mapping线程最小化建图损失函数${\mathcal{L}}_M(\mathbf{T},\Theta )$：
$${\mathcal{L}}_M(\mathbf{T},\Theta )={\mathcal{L}}_{rgb}(\mathbf{T},\Theta )+{\lambda }_D{\mathcal{L}}_D(\mathbf{T},\Theta )$$
颜色损失函数为光度误差：
$${\mathcal{L}}_{rgb}(\mathbf{T},\Theta )=\Vert I-I^{\star }(\mathbf{T},\Theta ){\Vert }^2$$
其中图像中每个点的像素值的计算方法与原始NeRF论文一致：
$$C=\sum _i{\mathcal{T}}_i(1-\exp (-{\sigma }_i{\delta }_i)){\mathbf{c}}_i$$
透射率（transmittance）定义与NeRF一致：
$${\mathcal{T}}_i=\exp (-\sum _{j<i}{\sigma }_j{\delta }_j)$$
几何损失函数考虑到了深度的不确定度（即深度的marginal covariances）${\Sigma }_{\mathbf{D}}$
$${\mathcal{L}}_D(\mathbf{T},\Theta )=\Vert D-D^{\star }(\mathbf{T},\Theta ){\Vert }_{{\Sigma }_{\mathbf{D}}}^2$$
每一点的深度值由如下方式计算：
$$d^{\star }=\sum _i{\mathcal{T}}_i(1-\exp (-{\sigma }_i{\delta }_i))d_i$$
此外，MLP输入的形式参考了Instant-NGP（用于网络加速）

Architecture

Tracking 和 Mapping 线程间的交互

仅当有新关键帧生成时，Tracking线程将新关键帧的位姿、RGB图、深度图以及深度的边缘协方差传递给Mapping线程

只有在Tracking线程滑动窗口内的信息会被传给Mapping

关键帧的选取原则

滑动窗口法中最多包含8个关键帧

当当前帧与先前关键帧之间的平均光流大于一定阈值时，会生成新的关键帧

Limitation

内存占用很大