Neural Radiance Fields (NeRFs) 神经辐射场模型2022总结

NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作，其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度，仅用 2D 的 posed images 作为监督，即可表示复杂的三维场景，在新视角合成这一任务上的表现是非常引人注目的。3D渲染分为基于表面渲染（如点云到mesh）（图1上）和基于体积渲染（定义场景为密度和颜色场）（图1下）。

 

NeRF可以简要概括为用一个MLP（Multi Layer Perceptrons）神经网络去隐式地学习一个静态3D场景。为了训练网络，针对一个静态场景，需要提供大量相机参数已知的图片。基于这些图片训练好的神经网络，即可以从任意角度渲染出图片结果了。

第一篇NeRF的文章是Mildenhall et al （ECCV 2020）发布的。使用将三维场景通过体积渲染为二位的图像表达。三维环境通过MLP将5D向量input（x, y, z, & direction视角方向）表达为（color, density）如下图。

 

NeRFs的优点和缺点

优点	缺点
自监督，可只是用image进行训练，姿态可以用过SfM进行估算	速度慢， 50-100MLP评估一个pixel，需要至少260000评估512*512的图像。如果是1080p的图像多大两百多万。
写实性高，输出图像质量和输入图像质量保持一致	需要按照场景训练
是可以进行计算的，3D引擎可以快速高效的确定位置。NeRF只单独评估密度MLP	需要大量训练样本输入，一个场景需要input 50-100不同角度的图片进行训练。

NeRFs的研究方向（相关顶级文章）

• 提升质量: mip-NeRF, ref-NeRF
• 提升速度: Instant-NGP, MLP-less methods
• 点云应用: PointNeRF, Urban Radiance Field

 NeRF应用（相关顶级文章）

• 图像处理的图像标注，超像素，去噪，压缩
• 城市遥感、街景数据三维数据