NeRF知识点：Mip-NeRF

简介

NeRF表征射线的方式是：$r(t)=o+td$，在这条射线上会进行采样，进而形成一系列intervals，有：$T_i=[t_i,t_{i+1}]$。

而在mip-nerf中， 对于每一个interval $i$，都会对其计算对应截锥体（半径由射线的焦距与像素大小共同决定）的均值与协方差：。

最后，再通过integrated positional encoding进行特征化：

这些特征将被喂入NeRF网络的MLP中：

通过MLP输出的体密度与颜色，就可以照常进行体渲染工作：

关于采样，首先在给定near和far平面的情况下，均匀采样为 $t^c$，这也称之为 “course”采样，其数学表征为：

注意，在训练过程中，采样是随机的，但是在验证的时候，采样是均匀的。

当MLP对应生成一系列“coarse”权重 $w^c$后，“fine”采样 $t^f$则从由$t^c$与$w^c$共同定义的直方图中，通过inverse transform sampling采样得到：

最终的重建损失也由“coarse”和“fine”共同得到：

参考文献

1. Barron J T, Mildenhall B, Tancik M, et al. Mip-nerf: A multiscale representation for anti-aliasing neural radiance fields[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 5855-5864.

2. Barron J T, Mildenhall B, Verbin D, et al. Mip-nerf 360: Unbounded anti-aliased neural radiance fields[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 5470-5479.