计算机视觉与图形学-神经渲染专题-TensoRF

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

摘要

我们提出了TensoRF，一种建模和重建辐射场的新方法。与直接使用MLP的NeRF不同，我们将场景的辐射场建模为4D张量，表示为具有每体素多通道特征的3D体素网格。我们的中心思想是将4D场景张量分解为多个紧凑的低秩张量分量。我们证明，在我们的框架中应用传统的CP分解——将张量分解为具有紧凑向量的秩分量——可以改善vanilla NeRF。为了进一步提高性能，我们引入了一种新的向量矩阵（VM）分解，它释放张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。除了获得较好的渲染质量之外，与直接优化每体素特征的先前和并行工作相比，我们的CP和VM分解模型的内存占用显著降低。实验证明，与NeRF相比，具有CP分解的TensoRF实现了快速重建（<30分钟），具有更好的渲染质量，甚至更小的模型大小（<4 MB）。此外，具有VM分解的TensoRF进一步提高了渲染质量，并优于先前最先进的方法，同时减少了重建时间（<10分钟），并保持了紧凑的模型大小（<75 MB）

系统框架

左图：我们使用一组向量（v）和矩阵（M）将场景建模为张量辐射场，这些向量和矩阵描述了场景外观和沿其相应轴的几何体。这些矢量/矩阵因子用于通过矢量矩阵外积计算体积密度σ和与视图相关的RGB颜色，以实现真实的体积渲染。右图：与之前和并行方法相比，我们的TensoRF模型可以实现最佳渲染质量，是唯一可以同时实现快速重建和高紧凑性的方法。（我们的模型用分解技术、组件数量和训练步骤表示。）

张量分解。左图：CP分解（等式1），它将张量分解为向量外积的和。右图：我们的向量矩阵分解（方程3），它将张量分解为向量矩阵外积的和。

TensorRF（VM）重建和渲染。我们使用一组向量（v）和矩阵（M）将辐射场建模为张量，这些向量和矩阵沿其相应的（XYZ）轴描述场景，并用于计算可微分光线行进中的体积密度σ和视相关颜色c。对于每个着色位置x=（x，y，z），我们使用来自向量/矩阵因子的线性/双线性采样值来有效计算张量分量的相应三线性插值（A（x））。将密度分量值（Aσ（x））相加，直接得到体积密度（σ）。外观值（Ac（x））被连接到一个向量中(⊕[Am c（x）]m），然后将其与外观矩阵B相乘并发送到解码函数S用于RGB颜色（c）回归。

实验结果

我们在三个数据集上比较了我们的方法与先前和并发的新视图合成方法。基线方法的所有分数都直接取自他们的论文。我们还报告了合成NeRF数据集的平均重建时间和模型大小。NVSF需要8个GPU进行优化（用星号标记），而其他则在单个GPU上运行。DVGO的30k步对应于10k的粗重建和20k的精细重建。

我们的VM-192-30k模型和比较方法（NeRF[24]、plenoxels[46]、DVGO[37]、NSVF[18]）在两个合成NeRF场景上的定性结果。

结论

我们提出了一种用于高质量场景重建和渲染的新方法。我们提出了一种新的场景表示——TensoRF，它利用张量分解技术将辐射场紧凑地建模为因子分解的低秩张量分量。虽然我们的框架适应了经典的张量分解技术（如CP），但我们引入了一种新的向量矩阵分解，这导致更好的重建质量和更快的优化速度。我们的方法可以在每个场景不到30分钟的时间内实现高效的辐射场重建，与需要更长训练时间（20+小时）的NeRF相比，可以获得更好的渲染质量。此外，我们基于张量因子分解的方法实现了高紧凑性，导致内存占用小于75MB，大大小于许多其他先前和并发的基于体素网格的方法。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016