Mip-Nerf的抗锯齿混叠

零、nerf逐像素的ray-tracing

说明1：

nerf是ray-tracing的，但是和传统图形学里面ray打到物体表面不一样，nerf是根据ray上面的体素进行渲染的。

说明2：

high-resolution的时候，相机距离物体较近，捕捉的细节更多，需要高频信息；离远的看，我们看到的是更blurry、smoothing的图片。

联合PE的作用，就是：不同尺度的视图需要不同的傅里叶特征，高频对于近距离图high-re是必要的，但远程视图低频傅里叶足够表达

为什么使用PE，图像是个二维分布，图像的频率（也就是空间频率，区别时序信号的时间对应频率）也就是二维傅里叶分布。可以知道，对于轮廓、颜色变化明显的地方，频率是高的。

图像的频率：图像的频率被称为空间频率，空间频率是指单位长度内亮度做周期性变化的次数，它反映了图像的像素灰度在空间中的变化情况，从傅里叶频谱上可以看到明暗不一的亮点，反映的就是某点与邻域间的差异程度。

举个例子，一帧图像的背景或者变化缓慢的区域，也就是灰度值分布比较平坦，那么，低频分量就比较强。图像的边缘、细节以及噪声的像素灰度在空间的变化非常剧烈。因此为高频分量。

例如，一面墙壁的图像，由于灰度值分布平坦，其低频成分就较强，而高频成分较弱；而对于国际象棋棋盘或者沟壑纵横的卫星图片这类具有快速空间变化的图像来说，其高频成分会相对较强，低频则较弱（注意，是相对而言）。

说明3：针对锯齿问题，nerf做了两个实验。

1、在高high-re数据上训练，zoom-in（将相机向后拉，并放大）渲染low-re的图片，出现抗锯齿问题；

2、多尺度（也就是相机距离有近有远）的数据训练，导致原文说的：high-re时候模糊，low-re时候出现锯齿，city-nerf里面指这是：远处几何不完整，近处纹理细节模糊

总结一下：nerf的PE频率是固定的，也就是不管相机远近，该点的频率都是L级别的傅里叶特征。在multiscale训练时，highre渲染时不够保真（其实人眼不大看的出来，而为什么导致模糊（ssim是降低了0.954—0.863），是因为什么？  强行解释下：highre要求的就是高频信息，傅里叶特征已经满足，但对于同一空间点不同scale视图的输入，MLP拟合rgb或者密度sigma取了折中。？）

渲染low-re时候，也就是相机往后拉，所需的傅里叶特征不需要那么高，但是PE是固定的，傅里叶高频信息太多，相机远近必然导致了MLP拟合的折中，（可以这么理解：高频傅里叶满足了近视图所需的频率维度，但拉远了需要re变低，也就是我在做降采样，频率太高导致混叠。）

图像下采样是：图像在计算机上的表达是二维矩阵，每个点位置存的是pixel像素值，现在根据行列进行采样，得到下采样的像素二维矩阵。

一、Mip-nerf做的改进

1、coin cast考虑了 体素点的 shape和 size，这是合理的，由于远近相机对三维物体的感受野是不同的。

2、对PE的改进，针对表征的棱台，方差越大，IPE的结果傅里叶特征维度更低。

这里说明是：通过对每个区间的PE特征进行积分，当频率周期小于所积分区间的大小时，IPE特征的高频尺寸缩小到零，从而产生隐式编码区间大小（以及更高维度的形状）的抗锯齿特征。

这里有个理解困难：也就是采样的区间较大时，IPE高频特征少；采样区间小时，IPE高频特征多。

这对渲染很有影响吗，间隔大的区间具有低频特征，返回的RGB和密度sigma，得到这个像素点的RGB。      这里作者应该是这样的，根据coarse网络的pdf采样间隔更密的地方对应 物体表面，物体表面的傅里叶特征比较高。

但是这跟，渲染远近相机有必然关系吗？   不应该是，在high-re的数据下，拉远相机，这个时候IPE知道改变傅里叶的维度。？？？但明显没有吧，相机远近对IPE没有直接影响！！

我目前很想做的是，我想知道mip-nerf抗锯齿的成功是因为视锥感受野变大，还是因为IPE。但这个实验，我不知道怎么设计，三维高斯本身就是为了拟合分布，来做的