英伟达首次实现SDF实时3D渲染，还是细节超清晰的那种

鱼羊  发自 凹非寺
量子位 报道 | 公众号 QbitAI

不用苦等电脑渲染好几个小时，这样高清的 3D 渲染效果，现在英伟达做到了实时实现。

各种复杂样式、比例的外观都能 hold 住，阴影也不在话下。

细节处理上，还远胜前辈高手（橙色为DeepSDF）。

具体如何做到？

其实，同样是基于大名鼎鼎的神经 SDF（有向距离场）——计算机图形学中，常见的一种隐式曲面表示方法。

不过在这项研究中，大型神经网络的渲染不再必需，这就使得渲染效率提升了2-3个数量级。

这也是首个基于SDF的3D高保真实时渲染方法。

相关论文一经发布，引起了不少来自谷歌、Epic Games等等机构的专家学者的关注。

一起来看详情。

用稀疏体素八叉树进行编码

SDF 可以表示为 f(x,y,z)=d，是一个表示位置的函数，返回值是到物体表面的最近距离。

在进行渲染时，SDF 使用的是球体跟踪算法，该算法会沿射线执行距离查询。

而经典的神经 SDF 往往需要大型神经网络来进行编码，以便用隐式曲面来逼近复杂的形状，这就导致球体跟踪算法的代价很高。

△图源：论文一作，twitter@yongyuanxi

为了解决这个问题，来自英伟达、多伦多大学和麦吉尔大学的研究团队提出，改用稀疏体素八叉树（SVO）来对几何形状进行编码。

基于八叉树的特征量，可以自适应地拟合具有多个离散细节层次（LOD）的形状，并通过 SDF 插值实现连续 LOD。如此一来，就可以用一个小得多的多层感知机（MLP）实现加速渲染。

这里面的一个难点在于，如何快速地在八叉树中完成查询。

为此，研究人员还提出了一种基于 GPU 的算法，通过深度排序的 SVO 遍历来高效地完成空间跳跃，实现实时渲染。

不仅更快，重建质量也更好

速度上去了，渲染的效果是否有所损失？

实验结果显示，与DeepSDF、FFN、SIREN和Neural Implicits等方法相比，该方法的不仅体积更小、推理参数更少，性能表现也更强悍。

从下图中可以看出，该方法在细节恢复上远胜FFN，还比FFN快了50倍，速度可以媲美NI。

在两个更复杂的示例中，这种细节方面的优势体现更加明显。

不过，作者也坦言，该方法对于大场景，或者非常薄的几何体并不适用，也无法运用传统方法对渲染出来的几何体进行变形、制作动画。

关于作者

论文第一作者Towaki Takikawa，目前在多伦多大学攻读CS博士。同时，他还在英伟达超大规模图形研究小组（Hyperscale Graphics Research group）工作。

他目前的研究兴趣，主要聚焦在机器学习驱动的3D几何处理算法上。

传送门

论文地址：
https://arxiv.org/abs/2101.10994

项目地址：
https://nv-tlabs.github.io/nglod/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

加入AI社群，拓展你的AI行业人脉

量子位「AI社群」招募中！欢迎AI从业者、关注AI行业的小伙伴们扫码加入，与50000+名好友共同关注人工智能行业发展&技术进展：

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~