Nerf-SLAM浅总结

1. Nerf：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

是一个MLP网络，模型的输入是x，y，z，和两个维度的角度信息，输出是rgb颜色信息和密度信息。用神经辐射场来表示三维的信息。然后由三维的信息可以转换成为被任意姿态观测的二维图像，这个过程称为渲染，渲染的方式与经典的volume rendering 方式类似，通过对射线进行分段随机采样，预测出颜色信息。 

 

训练使用颜色作为残差项

1. Nerf-SLAM：Real-Time Dense Monocular SLAM with Neural Radiance Fields

本文使用了Droid-SLAM，稠密的光流估计，也估计出了深度的不确定度。把深度图，深度的不确定度和相机位姿输入到NeRF网络里进行监督（残差引入了深度）。一个线程用来跟踪，另一个线程用来监督和渲染。本文称可以实时运行。