NeuSample: Neural Sample Field for Efficient View Synthesis

Abstract

1.为了减轻NeRF的计算开销，本文指出 NeRF 在 coarse to fine 的分层抽样过程中用一个轻量化模型来代替粗的采样阶段；

2.所提出的采样场将光线映射到样本分布中，样本分布可以转换为点坐标并馈送到用于体绘制的辐射场中。

Method

1.NeRF：

        (1)通过得到每一个点处的颜色和密度。使用求积规则计算沿相机光线r(t)=o+td的像素的期望颜色:

使用颜色值的L2范数损失来约束：        (2)NeRF以及其变体都采用分层抽样的策略，即先在每个均匀划分的区间中随机抽取一个点，这样一共得到Nc个粗略点，将这些点输入第一个场网络中得到对应的颜色和密度；然后再根据粗略点得到Nf个细致点（权重 wi = Ti(1 − exp(−σiδi)) 作为在Nc中抽样得到Nf的概率）；然后将得到的Nc和Nf一同输入到第二个场网络中得到最后的渲染。该过程计算开销太大。

2.神经采样场（Neural Sample Field）：

        (1)  为了减轻NeRF的计算开销问题，提出神经采样场：

将射线的源点和方向输入到神经采样场我们得到N个标量：

tiˆ ∼ [0, 1]，它们分别代表了沿着光线从临近边界到最远边界之间的相对抽样位置；绝对位置可以表示为：ti = (1 −ti ˆ )*tn +  ti ˆ *tf；然后就可以计算出第 i 个抽样点的坐标：

         (2)结构：

        本文的创新之处就在于采用了神经采样场与神经辐射场相结合，使用神经采样场沿着光线方向我们可以得到N个采样坐标点，直接将这些得到的坐标点输入到神经辐射场来得到RGB颜色和密度值从而进行渲染。这种做法取代了NeRF中进行粗略点采样的做法，从而降低了计算开销，从而提高了计算效率。

3.采样场提取（Sample Field Extraction）：

        为了进一步地加快计算效率，本文还提出了 Sample Field Extraction，即减少采样场的输出数量得到提取的神经采样场，采样场与提取的采样场只有最后用于样本预测的全连接层不同，其中参数在输出通道维度上从SΘ均匀映射到SeΘ。而且它们后接的辐射场也共享相同的结构，所以RΘ的参数可以直接复制到ReΘ 。通过映射参数，我们仅对提取的字段SeΘ和ReΘ进行几次迭代，就可以适应新的分布。

4.深度提升（depth boost）：

         对于通常具有复杂几何结构或深度分布的真实场景，我们使用规则场预测的深度信息来帮助初始化提取的采样场网络。我们将此过程命名为深度提升。具体来说，我们对场景的一些摄影机姿势进行采样，并将相应的光线馈送到规则场：

“深度提升”（Depth boost）有助于具有较少点的采样场沿光线快速收敛到具有有用信息的位置。