【论文解析】RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs

内容速览

• 问题： 当可用视角图像数量减少的时候，NeRF效果不好。
• 发现： 在稀疏输入场景中，大多数artifats是由估计场景几何形状中的错误和训练开始时的发散行为造成的。

RegNeRF

• 一种正则化稀疏输入场景的NeRF模型的新方法。
• 正则化从未观察到的视点渲染的patches的几何形状和外观，并在训练期间处理射线采样空间（annealing the ray sampling space）
• 使用规范化流模型来正则化未观察到的视点的颜色。
• 不仅优于其他优化单一场景的方法，在许多大型多视图数据集上进行了广泛的预训练的条件模型也可用。（ Our model outperforms not only other methods that optimize over a single scene, but in many cases also conditional models that are extensively pre-trained on large multi-view datasets.）
  

Contributions

• 一个patch-based的正则化器，用于从未观察到的视点渲染的深度地图，它减少了浮动的artifacts和改善场景几何。
• 一种规范化流模型，通过最大化渲染patches的对数似然值来正则化在不可见视点的颜色预测，从而避免不同视图之间的颜色转移。
• 一种annealing策略，用于沿着光线采样点，我们首先在一个小范围内采样场景内容，然后扩展到完整的场景边界，以防止在训练早期发散。

框架图

• 我们提出采样未观测到的视图(红色摄像机)，并将这些视图渲染的petch的几何形状和外观规则化。
• 我们根据给定radiance field $f_{\theta }$ 从未观察到的视点投射通过场景光线并渲染petch.
• 然后，我们通过给训练的normalizing flow model $\varphi$和最大化预测对数似然 输入预测的RGB patches 来正则化外观。
• 我们通过在渲染深度块上强制一个平滑损失来正则化几何。
• 我们的方法得到3d一致的表示，即使是稀疏的输入，现实的新视图可以渲染。

具体方法

1 背景

将NeRF表示为:

体绘制表示为：

损失：
min-NeRF

• NeRF每像素只投射一条光线，而mip-NeRF[2]则投射一个圆锥体
• 位置编码从表示一个无穷小的点转变为对一个由圆锥体覆盖的体积的积分。
• 我们在这项工作中采用mip-NeRF表示。

2. Patch-based Regularization

• 我们定义了一个不可见但相关的视点的空间，并从这些摄像机中随机取样渲染小块(patch)
• 我们的关键思想是，这些patch可以正则化，以产生平滑的几何图形和高可能性的颜色。

未观察到的视点的选择

• 我们假设目标poses 的已知集合 ${\left\{P_{target}^i\right\}}_i$：
  
  这些目标姿势可以被认为是我们想要在测试时渲染新视图的姿势集合的边界

• 我们将可能的摄像机位置空间定义为所有给定的目标摄像机位置的边界框

• 为了获得摄像机旋转的样本空间，我们假设所有的摄像机大致聚焦在一个中心场景点上。

• 我们通过计算所有目标姿势向上轴上的归一化平均值来定义一个公共的“向上”轴¯pu。

• 为了学习更鲁棒的表示，我们在计算摄像机旋转矩阵之前向焦点添加随机抖动。

• 我们定义所有可能的摄像机旋转集合(给定采样位置t)为
  

• 我们通过采样一个位置和旋转来获得一个随机的相机姿态：
  

Geometry Regularization：

• 深度计算如下：（少了颜色）
  
• 深度平滑损失为：
  

颜色正则化：

• 我们的关键思想是估计渲染patch的可能性，并在优化期间最大化它。我们利用现成的非结构化2D图像数据集。
• 我们在JFT-300M数据集[53]的补丁上训练RealNVP[10]规范化流模型。
• 公式10为已学习的bijection。
  
• 颜色正则化损失：
  
• 整体损失 ：
  

3. Sample Space Annealing

• 在优化过程中，通过早期迭代对采样场景空间进行快速退火，有助于避免这个问题
• 通过将场景采样空间限制在一个为所有输入图像定义的较小区域，我们引入了一个归纳偏差来解释场景中心具有几何结构的输入图像。
• 设tm为一个确定的中心点(通常是tn和tf之间的中点)。
  
  i是训练的迭代。
  Nt是一个超参数，指示到达完整范围之前的迭代次数
  Ps表示起始范围的超参数(例如，0.5)

结果