8、Mip-NeRF

简介

《Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields》

NeRF能在新的视图位置上生成逼真的渲染图，但是必须在训练图像的分辨率或比例的基础上生成，上图a中将相机拉回并放大（降低图像分辨率），这导致了渲染显示严重的混叠。

上图b将不同分辨率的图像放入NeRF中训练，虽然一定程度上改善低分辨率问题，但是高分辨情况拉跨了

图c中Mip-NeRF很好的解决了这个问题

论文思路

我们知道NeRF是通过穿过图像像素的一条射线进行积分，在射线上采样的是一个一个的点。那么我们多发射几条光线，提高采样率，在一定程度上能够解决锯齿化问题，但是计算量也大大增加，论文作者就提出使用圆锥体取代光线的方法

Mip-NeRF采用多元高斯坐标逼近锥形积分，然后在高斯坐标的位置编码上计算（封闭形式）积分E(γ(x)]。那么传统的位置编码就不适用了，论文提出集成的位置编码(IPE) an integrated positional encoding，是对NeRF的位置编码(PE)的一种推广，它允许一个空间区域被紧凑地特征化featurized，而不是空间中的单个点。

圆锥截台对应的区域表示

o为圆锥中心，d为法向量，r为圆锥半径（设置为世界坐标中按2/√12的像素的宽度），l{·}为指标函数，表示当x \mathbf{x}x位于F（…）定义的圆锥范围内时对上式进行取值

如果对上面这样一个特征集合求解位置编码时，位置编码转换为积分形式

上述式子，分子中的积分没有封闭形式的解，目前尚不清楚如何有效地计算这样一个特征，作者采用多元高斯近似，允许一个期望的有效近似特征

为了用多元高斯分布近似conical frustum，我们必须计算F(x,·)的均值和协方差。因为每个conical frustum被假定为圆形的，并且因为conical frustum是围绕锥轴对称的，这种高斯分布完全由三个值来表征(除了o和d)

其中t μ = ( t 0 + t 1 ) / 2 ，t δ = ( t 1 − t 0 ) / 2，以上在[ t 0 , t 1 ] 范围内的圆锥的局部坐标系建立的多元高斯分布，接着通过如下变换可以将其转换到世界坐标系下，如下所示

原始的位置编码表达为


通过均值和方差的传递规则，计算出多元高斯分布经过位置编码后的表达式


最后一步就是根据上述的多元高斯分布计算期望，当x ∼ N ( μ , σ 2 ) ，则sin ⁡ ( x ) 和cos ⁡ ( x ) 期望的的闭式解为

IPE的期望就为

由于位置编码是对每一维进行独立的，因此计算上述期望时只需要取每一维的方差，也就是协方差矩阵的对角线元素

其中

从上面的推导可以看出来，基于高斯分布的建模，最后从确定采样点到最后输出Integrated Positional Encoding的值中间也是一些简单的加减乘，因此Integrated Positional Encoding相对于本来的Positional Encoding并没有增加太多计算量，如下图所示

由于Position Encoding对所有的采样点都使用的同样的处理方式，因此在高频部分容易产生混淆，如上左图所示，无论高频低频经过Positional Encoding后输出高频部分有很多相似的蓝色，而Integrated Positional Encoding则可以避免这一问题，对于相对低频的输入经过Integrated Positional Encoding后输出高频部分趋近于0，也就是上右图中的白色，因此就避免了高频混淆。这也就是Mip-NeRF效果好的原因，如下对比图所示