Mip-NeRF 360

Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields 无边界抗锯齿神经辐射场
论文提出了mip-NeRF（一种解决采样和混叠的NeRF变体）的扩展，该扩展使用非线性场景参数化、在线蒸馏和基于失真的新正则化器来克服无界场景带来的挑战。

将NeRF以及扩展模型应用于大型无界场景有以下挑战：
1.参数化。无边界360度场景可以占据欧几里得空间的任意大区域，但mip-NeRF要求3D场景坐标位于有界域中。
2.效率。大型和详细的场景需要更多的网络容量，但在训练期间密集地沿每条射线查询大型MLP是昂贵的。
3.歧义。无界场景的内容可能位于任何距离处，并且将仅由少量光线观察到，这加剧了从2D图像重建3D内容的固有模糊性。

创新点：
· 非线性场景参数化：提出一种类似卡尔曼滤波的方式将超出一定距离范围外的无界区域的高斯模型变换到非欧式空间中
· 在线“蒸馏”：若要令现有MLP去渲染无界场景，扩大网络结构的方式会降低渲染效率；因此在优化阶段，论文将网络分为两个：proposal MPL来优化权重参数，NeRF MLP来输出结果，这样在训练过程中，通过NeRF MLP优化proposal MLP来提高效率
· 基于失真的优化器：对于无界场景的渲染而言，会产生模糊的现象，即伪影；论文引入了一种优化器，针对基于圆锥体采样的渲染方式，最小化沿光线的所有点之间的加权绝对距离Ws（.）对重建场景中的伪影进行优化

Mip-NeRF回顾：
论文第一节介绍了Mip-NeRF：Mip-NeRF中将像素点看为一个锥体的圆形截面
原始nerf的一个像素点对应mip-nerf的一块区域
原始nerf的一条射线对应mip-nerf 的一个圆锥
原始nerf的一个采样点对应mip-nerf的一个圆台
原来的位置编码需要修改成对圆台进行位置编码，将圆台设置成服从高维的高斯分布（高斯分布表示圆台），在进行积分求期望编码，然后将位置与观看方向输入MLP得到颜色和密度，接着沿着这些圆台进行积分或加权平均。

1、场景和光线参数化

1、这里重新参数化3D坐标

上图是场景参数化的二维可视化，远点应按视差（反距离）而不是距离成比例分布。定义了一个contract(·) operator，它可以将坐标映射到半径为2的球体（橙色），其中半径为1（蓝色）的点不受影响。将这种收缩应用于欧几里德3D空间中的mip-NeRF高斯（灰色椭圆），类似于卡尔曼滤波器来产生收缩高斯得到红色椭圆，其中心保证位于半径为2的球内。contract(·)的设计与根据视差线性划分光线间隔的选择相结合，意味着从位于场景原点的camera投射的光线在橙色区域具有等距间隔。公式如下

当圆台超出蓝色区域，就会通过公式进行转换，首先进行归一化，除以||x||（∈（+1，-1）），（2-1/||x||）（该值∈（1，2）），就能把该区域转换到橙色球体内，论文中指出改变换类似于类似卡尔曼滤波。

2、论文提出了一种选择光线距离t（沿光线的距离）的方式，即根据视差参数化光线ray。将显式地对视差中的距离t进行线性采样，为了根据视差参数化光线，我们定义了欧几里得光线距离t和“归一化”光线距离s之间的可逆映射：g()是某个可逆标量函数，将[t_n , t_f]映射“归一化”射线距离s ∈ [0，1]。

2、Coarse-to-Fine Online Distillation

mip-NeRF使用了一种从粗到细的重采样策略

在 mip-NeRF 中，首先需要定义一组大致均匀分布的区间t^c，可以理解为直方图中的端点。如上图所示，每个间隔的高斯都被送入 mlp，并且得到直方图权重 w^c 和颜色 c^c。然后将这些颜色加权后得到像素点的颜色 C^c。之后这些权重被重采样，并得到一组新的区间t^f，并且在场景中有内容的地方，端点就会较为聚集。经过mlp得到精细的C^f 在计算两次得到的值得损失函数。

论文中建立两个网络，一个proposal MLP，它预测体积密度（不计算颜色），得到直方图权重后，使用一个“NeRF MLP”来产生权重和颜色，生成渲染图像C，我们监督proposal MLP被训练以产生与NeRF MLP的w输出一致的proposal weights $\hat{w}$ 。通过使用一个小的proposal MLP和一个大的NeRF MLP，获得了一个高容量的组合模型，它仍然易于训练。
为了使模型起效，需要一个损失函数来鼓励两个网络的直方图一致，首先定义一个函数，该函数计算与区间T重叠的所有proposal权重之和：

如果两个直方图彼此一致，那么它必须保持w_i≤bound(), 损失将惩罚违反此不等式并超过此界限的任何剩余直方图质量

3、Regularization for Interval-Based Models

经过训练的NeRFs通常表现出两种特征伪影，论文中称之为“漂浮物”和“背景塌陷”，提出了一种正则化器，在阶跃函数方面有一个简单的定义，阶跃函数由参数化每条射线的一组（归一化）射线距离s和权重w定义，该优化器的目的为最小化沿光线的所有样本之间的归一化加权绝对距离的值，即上图中所示的直方图的面积：

离散化该公式

例如下图中，通过以下方式鼓励每条射线尽可能紧凑：1）最小化每个间隔的宽度，2）将远处的间隔拉向彼此，3）将权重合并为单个间隔或少量附近的间隔，以及4）在可能的情况下（例如当整个射线未被占用时）将所有权重朝着零。

4、优化

使用了一个具有4层和256个隐藏单元的提议MLP和一个具有8层和1024个隐单元的NeRF MLP，这两个MLP都使用ReLU内部激活和密度τ的软加激活。损失函数如下，$\lambda$=0.01