NeRF：视角合成下场景隐式表达为神经辐射场

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Pipeline

NeRF 使用一个 MLP 来感知隐式表示（Latent representation），它的假设函数（Hypothesis funtion）定义为 $H:(\mathbf{x},\mathbf{d})\to (\mathbf{c},\sigma )$。其中 $\mathbf{x}=(x,y,z)$ 表示观察位置（归一化），$\mathbf{d}=(\theta ,\varphi )$ 表示观察方向，$\mathbf{c}=(r,g,b)$ 表示发光颜色，$\sigma$ 表示体素密度。

这里只需要两个角度 $\theta$ 和 $\varphi$ 就能表示方向，因为球坐标下：
$$\{\begin{array}{l}x=r\sin \theta \cos \varphi \\ y=r\sin \theta \sin \varphi \\ z=r\cos \theta \end{array}$$
在表示方向时令 $r\equiv 1$，此时 $\mathbf{d}$ 只需要 $2$ 个自由度即可表示任意方向。

MLP

作者采信了 Rahaman 等人的结论，即神经网络倾向于学习低频信号。为了提高神经网络学习高频部分的能力，可以利用高频的映射函数将输入映射到高维空间。NeRF 延续了这种思想，作者设计了作用于 MLP 输入的位置编码（Positional encoding）函数 $\gamma :\mathbb{R}\to {\mathbb{R}}^{2L}$，其中 $L$ 控制了位置编码的频率：
$$\gamma (p)=\left(\begin{array}{c}\sin 2^0\pi p\\ \cos 2^0\pi p\\ \sin 2^1\pi p\\ \cos 2^1\pi p\\ \cdots \\ \sin 2^{L-1}\pi p\\ \cos 2^{L-1}\pi p\end{array}\right)$$
实验显示，对 $\mathbf{x}$ 取 $L=10$、$\mathbf{d}$ 取 $L=4$ 能够得到相对优秀的结果。

上图中，位置编码维度 $\dim \gamma (\mathbf{x})=3\times 2\times 10=60$，$\dim \gamma (\mathbf{d})=3\times 2\times 4=24$。

$\gamma (\mathbf{x})$ 经过 $8$ 层 ${\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}}_i$ 后产生 $256$ 维的特征向量。特别地，NeRF 引入了 DeepSDF 架构中的 Skip connection，${\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}}_4$ 的输出会先与 $\gamma (\mathbf{x})$ 进行拼接，再进入 ${\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}}_5$。

$256$ 维的特征向量经过 $1$ 层 $\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{a}\_\mathrm{O}\mathrm{u}\mathrm{t}$ 产生体素密度 $\sigma$；此外，该特征向量送入 $1$ 层 $\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}\_\mathrm{F}\mathrm{i}\mathrm{n}$ 后与 $\gamma (\mathbf{d})$ 拼接，依次送入 $1$ 层 $\mathrm{D}\mathrm{i}\mathrm{r}\_\mathrm{E}\mathrm{n}\mathrm{c}$ 和 $1$ 层 $\mathrm{R}\mathrm{G}\mathrm{B}\_\mathrm{O}\mathrm{u}\mathrm{t}$，产生发光颜色 $\mathbf{c}$。
$${\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}}_i(x)=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(W^{T}x),W\in {\mathbb{R}}^{\cdot \times 256}$$$$\mathrm{P}\mathrm{o}\mathrm{s}\_\mathrm{E}\mathrm{n}\mathrm{c}\_\mathrm{F}\mathrm{i}\mathrm{n}(x)=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(W^{T}x),W\in {\mathbb{R}}^{256\times 256}$$$$\mathrm{D}\mathrm{i}\mathrm{r}\_\mathrm{E}\mathrm{n}\mathrm{c}(x)=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(W^{T}x),W\in {\mathbb{R}}^{280\times 128}$$$$\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{a}\_\mathrm{O}\mathrm{u}\mathrm{t}(x)=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(W^{T}x),W\in {\mathbb{R}}^{256\times 1}$$$$\mathrm{R}\mathrm{G}\mathrm{B}\_\mathrm{O}\mathrm{u}\mathrm{t}(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(W^{T}x),W\in {\mathbb{R}}^{128\times 3}$$

Volume Rendering

观察射线可以参数化为 $t$ 的函数（从 $\mathbf{o}\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{i}\mathrm{n}$ 沿 $\mathbf{d}\mathrm{i}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}$ 前进）$\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}$。渲染时，通过在观察射线上不断对 MLP 进行查询 $H(\mathbf{r},\mathbf{d})=(\mathbf{c},\sigma )$ 得到体素颜色和密度。给定视锥近点 $t_n$ 和远点 $t_f$，理想的渲染颜色为：
$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r})\mathbf{c}(\mathbf{r},\mathbf{d})\mathrm{d}t$$
其中 $T(t)$ 为累积透射比系数（体素从无穷远到视锥近点的积分贡献）：
$$T(s)=\exp \left(-{\int }_{t_n}^t\sigma (\mathbf{r})\mathrm{d}s\right)$$
使用黎曼和进行离散化，将 $[t_n,t_f]$ 划分为 $N$ 个均匀子区间，在这些子区间内各自均匀采样 $t_i$（其中 $1\le i\le N$）：
$$t_i\sim \mathcal{U}\left[t_n+(i-1)\cdot \frac{t_f-t_n}{N},t_n+i\cdot \frac{t_f-t_n}{N}\right]$$
当 $N$ 足够大时，不妨认为每段区间内各数值函数为定值，可以使用矩形面积计算积分。记区间长度 ${\delta }_i=t_{i+1}-t_i$，此时累积透射比系数为：
$$T_i=\exp \left(-{\int }_{t_1}^{t_i}\sigma (\mathbf{r})\mathrm{d}s\right)=\exp \left(-\sum _{j=1}^{i-1}{\sigma }_j{\delta }_j\right)$$
类似地，渲染颜色的离散化过程：
$$\begin{array}{rl}\hat{C}(\mathbf{r})& =\sum _{i=1}^N{\int }_{t_i}^{t_{i+1}}T(t)\sigma (\mathbf{r})\mathbf{c}(\mathbf{r},\mathbf{d})\mathrm{d}t\\ & =\sum _{i=1}^N{\sigma }_i{\mathbf{c}}_i{\int }_{t_i}^{t_{i+1}}\exp \left(-{\int }_{t_1}^{t_i}\sigma (\mathbf{r})\mathrm{d}s-{\int }_{t_i}^t\sigma (\mathbf{r})\mathrm{d}s\right)\mathrm{d}t\\ & =\sum _{i=1}^N{T}_i{\sigma }_i{\mathbf{c}}_i{\int }_{t_i}^{t_{i+1}}\exp \left(-{\sigma }_i{\int }_{t_i}^t\mathrm{d}s\right)\mathrm{d}t\\ & =\sum _{i=1}^N{T}_i{\sigma }_i{\mathbf{c}}_i{\int }_{t_i}^{t_{i+1}}{e}^{-{\sigma }_i(t-t_i)}\mathrm{d}t\\ & =\sum _{i=1}^N{T}_i{\sigma }_i{\mathbf{c}}_i\cdot {\frac{e^{-{\sigma }_i(t-t_i)}}{-{\sigma }_i}|}_{t_i}^{t_{i+1}}\\ & =-\sum _{i=1}^N{T}_i\left(e^{-{\sigma }_i(t_{i+1}-t_i)}-1\right){\mathbf{c}}_i\\ & =\sum _{i=1}^N{T}_i\left(1-e^{-{\sigma }_i{\delta }_i}\right){\mathbf{c}}_i\end{array}$$

Hierarchical volume sampling

为了改变 NeRF 的低效性，排除无关空间和遮挡区域这些对渲染没有贡献的部分，采用两级粒度的分层采样（即采用粗粒度和细粒度两个 MLP）。

粗粒度渲染中，采样 $N_c$ 个点，记 ${\mathbf{c}}_i$ 的加权系数 $w_i=T_i\left(1-e^{-{\sigma }_i{\delta }_i}\right)$：
$${\hat{C}}_c(\mathbf{r})=\sum _{i=1}^{N_c}{w}_i{\mathbf{c}}_i$$
归一化的系数 ${\hat{w}}_i=\frac{w_i}{\sum _{j=1}^{N_c}{w}_j}\in [0,1]$ 可以理解为概率密度函数（PDF）。通过逆变换采样（Inverse transform sampling）采样 $N_f$ 个点，总共 $N_c+N_f$ 个点用于细粒度渲染：
$${\hat{C}}_f(\mathbf{r})=\sum _{i=1}^{N_c+N_f}{w}_i{\mathbf{c}}_i$$
不难发现，这 $N_f$ 个点会更多落在 ${\hat{w}}_i$ 较大的区间，也就是对颜色计算贡献更大的体素，因此能够提升 NeRF 对细节的表现。

Loss function

采用两级粒度 MLP 的二范数损失的平方和：
$$\mathcal{L}=\sum _{\mathbf{r}\in \mathcal{R}}\left[{\Vert {\hat{C}}_c(\mathbf{r})-C(\mathbf{r})\Vert }_2^2+{\Vert {\hat{C}}_f(\mathbf{r})-C(\mathbf{r})\Vert }_2^2\right]$$
其中 $\mathcal{R}$ 为一个 batch 中采样光线的集合。

Camera intrinsics & extrinsics

相机的外参矩阵用于将世界坐标系变换到相机坐标系；而内参矩阵用于将相机坐标系变换到像素坐标系。

给定世界坐标系 ${\mathbf{P}}_w=(X_w,Y_w,Z_w)$ ，相机坐标系 ${\mathbf{P}}_c=(X_c,Y_c,Z_c)$ 一般取世界坐标系下相机的位置作为原点、相机的朝向作为 $Z$ 轴的方向。${\mathbf{P}}_c$ 可以由 ${\mathbf{P}}_w$ 经过旋转和平移变换得到，为了方便引入平移变换，后面的变换矩阵使用四元数表示：
$$(x,y,z,w)\equiv \left(\frac{x}{w},\frac{y}{w},\frac{z}{w}\right)$$
旋转矩阵（绕 $x$、$y$、$z$ 三轴）：
$${\mathbf{R}}_x=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \theta & -\sin \theta & 0\\ 0& \sin \theta & \cos \theta & 0\\ 0& 0& 0& 1\end{array}\right)$$$${\mathbf{R}}_y=\left(\begin{array}{cccc}\cos \theta & 0& \sin \theta & 0\\ 0& 1& 0& 0\\ -\sin \theta & 0& \cos \theta & 0\\ 0& 0& 0& 1\end{array}\right)$$$${\mathbf{R}}_z=\left(\begin{array}{cccc}\cos \theta & -\sin \theta & 0& 0\\ \sin \theta & \cos \theta & 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$$

平移矩阵：
$$\mathbf{T}=\left(\begin{array}{cccc}0& 0& 0& t_x\\ 0& 0& 0& t_y\\ 0& 0& 0& t_z\\ 0& 0& 0& 1\end{array}\right)$$
世界坐标到相机坐标的变换：
$${\mathbf{P}}_c=\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)={\mathbf{R}}_x{\mathbf{R}}_y{\mathbf{R}}_z\mathbf{T}\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)={\left(\begin{array}{cc}{\mathbf{R}}_{3\times 3}& {\mathbf{t}}_{3\times 1}\\ 0_{1\times 3}& 1_{1\times 1}\end{array}\right)}_{4\times 4}{\mathbf{P}}_w$$
其中，$\mathbf{R}$ 和 $\mathbf{t}$ 就是相机的外参：
$${\mathbf{R}}_{3\times 3}=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos {\theta }_x& -\sin {\theta }_x\\ 0& \sin {\theta }_x& \cos {\theta }_x\end{array}\right)\left(\begin{array}{ccc}\cos {\theta }_y& 0& \sin {\theta }_y\\ 0& 1& 0\\ -\sin {\theta }_y& 0& \cos {\theta }_y\end{array}\right)\left(\begin{array}{ccc}\cos {\theta }_z& -\sin {\theta }_z& 0\\ \sin {\theta }_z& \cos {\theta }_z& 0\\ 0& 0& 1\end{array}\right)$$$${\mathbf{t}}_{3\times 1}=\left(\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right)$$

对于理想光学系统，平行于光轴的入射光线过像方焦点，过主点的入射光线不改变方向，根据这两条光线的交点可以找到成像位置。当物距足够大，也不考虑景深时，认为始终清晰、完整成像，物距可以近似为焦距，这就是针孔假设（Pinhole approximation）。

在计算机视觉中，相机一般采用上述假设下的针孔模型（Pinhole model）。为了保持符号一致性（针孔模型成倒像），选取像平面的共轭。像面坐标系 ${\mathbf{P}}_i=(X_i,Y_i)$ 可以由相机坐标系 ${\mathbf{P}}_c$ 得到：
$$\frac{X_c}{X_i}=\frac{Y_c}{Y_i}=\frac{Z_c}{f}⟹\{\begin{array}{l}{X}_i=\frac{X_c}{Z_c}f\\ Y_i=\frac{Y_c}{Z_c}f\end{array}$$
写成矩阵形式：
$${\mathbf{P}}_i=\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_c\end{array}\right)=\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right){\mathbf{P}}_c$$
像素坐标系 ${\mathbf{P}}_p=(u,v)$ 与像面坐标系共享同一个平面，区别在于一个连续、一个离散。此外，像素坐标系具有有限坐标，并且它的原点在画面的左上方。为了从像面坐标系（米）变换到像素坐标系（像素），假设缩放系数为 ${\rho }_u\times {\rho }_v$、平移量为 $(c_x,c_y)$，则像素坐标：
$$\begin{array}{rl}{\mathbf{P}}_p=\left(\begin{array}{c}u\\ v\\ w\end{array}\right)& =\left(\begin{array}{ccc}{\rho }_u& 0& c_x\\ 0& {\rho }_v& c_y\\ 0& 0& 1\end{array}\right){\mathbf{P}}_i\\ & =\left(\begin{array}{ccc}{\rho }_u& 0& c_x\\ 0& {\rho }_v& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right){\mathbf{P}}_c\\ & =\left(\begin{array}{cccc}f{\rho }_u& 0& c_x& 0\\ 0& f{\rho }_v& c_y& 0\\ 0& 0& 1& 0\end{array}\right){\mathbf{P}}_c\\ & ={\left(\begin{array}{cc}{\mathbf{K}}_{3\times 3}& 0_{3\times 1}\end{array}\right)}_{3\times 4}{\left(\begin{array}{cc}{\mathbf{R}}_{3\times 3}& {\mathbf{t}}_{3\times 1}\\ 0_{1\times 3}& 1_{1\times 1}\end{array}\right)}_{4\times 4}{\mathbf{P}}_w\end{array}$$
其中，$\mathbf{K}$ 就是相机的内参：
$${\mathbf{K}}_{3\times 3}=\left(\begin{array}{ccc}f{\rho }_u& 0& c_x\\ 0& f{\rho }_v& c_y\\ 0& 0& 1\end{array}\right)$$

References

B. Mildenhall, P. P. Srinivasan, M. Tancik, et al. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV’20. https://arxiv.org/abs/2003.08934
https://towardsdatascience.com/what-are-intrinsic-and-extrinsic-camera-parameters-in-computer-vision-7071b72fb8ec