NeRF（Neural Radiance Fields）学习笔记

NeRF简要概括：为用一个MLP神经网络去隐式地学习一个静态3D场景。

为了训练网络，针对一个静态场景，需要提供大量相机参数已知的图片。

输入：5D向量函数，包括一个空间点的3D坐标位置  ，以及视角方向  。

输出： 是对应3D位置（或者说是体素）的密度，而 是视角相关的该3D点颜色。

 神经网络可以写作

 具体实现： 首先输入到MLP网络中，并输出 和中间特征，中间特征和 再输入到额外的全连接层中并预测颜色。

原文翻译：

译文：我们通过沿相机光线（a）采样5D坐标（位置和观察方向），将这些位置输入MLP以生成颜色和体积密度（b），并使用体绘制技术将这些值合成图像（c），从而合成图像。这种渲染函数是可微的，因此我们可以通过最小化合成图像和地面真实观测图像（d）之间的残差来优化场景表示。

体素密度只和空间位置有关，而颜色则与空间位置以及观察的视角都有关系。/纹理（Density)是物体本身的属性，所以要求他和方向无关；而RGB要求和方向与xyz都有关。

NeRF其实是一种三维场景表示，而且是一种隐式的场景表示，因为不能像point cloud、mesh、voxel一样直接看见一个三维模型。

NeRF局限性：

1.NeRF泛化性较差，一个网络只能代表一个场景——暂无解决方案

2.要极为精确的相机位姿GT——基于GAN、BA层的

3.训练速度较慢，参数量较大——训练加速

4.主要解决后两个问题的后续工作相当多，第一个问题难以解决

5.有人考虑将其用于游戏行业（元宇宙核心技术）

 NeRF：用深度学习完成3D渲染任务的蹿红 - 知乎在CSDN阅读1 引言 NeRF是2020年ECCV论文。仅仅过去不到2年，关于NeRF的论文数量已经十分可观。相比于计算机视觉，尤其是相比于基于深度学习的计算机视觉，计算机图形学是比较困难、比较晦涩的。被深度学习席卷的计…https://zhuanlan.zhihu.com/p/390848839分享 | NeRF神经辐射场理解|方向|位姿_网易订阅分享 | NeRF神经辐射场理解,方向,位姿https://www.163.com/dy/article/GRREJLVE0552OFB6.html【NeRF论文笔记】用于视图合成的神经辐射场技术 - 知乎2020和2021年，最火的计算机视觉技术非Transformer莫属。而除Transformer之外，最受欢迎也最有趣的技术我想应该是ECCV 2020的神经辐射场 (Neural Radiance Field, NERF) ，其核心点在于非显式地将一个复杂的静态场…https://zhuanlan.zhihu.com/p/360365941?ivk_sa=1024320u