计算机视觉与图形学-神经渲染专题-神经体渲染：NeRF与Beyond-I

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

1、简介

神经渲染的定义：“深度图像或视频生成方法可以显式或隐式控制场景属性，例如照明、相机参数、姿势、几何、外观和语义结构。” 它是一种新颖的、数据驱动的解决方案，用于解决计算机图形学中长期存在的虚拟世界真实渲染问题。

神经体渲染是指通过将光线追踪到场景中并在光线长度上进行某种积分来生成图像或视频的方法。通常，像多层感知器这样的神经网络会将光线上的 3D 坐标中的函数编码为体密度和颜色等值，这些值被集成以产生图像。

2、神经隐表面

神经体渲染的前身是使用神经网络定义隐式表面表示的方法。许多 3D 感知图像生成方法使用体素、网格、点云或其他表示，通常基于卷积架构。

2.1 占用和符号距离函数

以下是CVPR 2019 的三篇论文和ICCV 2019 的一篇（PIFu）：

占用网络(Mescheder et al., 2019) 引入了隐式的、基于坐标的占用学习。由 5 个 ResNet 块组成的网络采用特征向量和3D 点并预测二进制占用。

IM‑NET （Chen 和 Zhang，2019 年）使用6 层MLP 解码器，在给定特征向量和3D 坐标的情况下预测二进制占用。可用于自动编码、形状生成（GAN 风格）和单视图重建。

DeepSDF (Park et al., 2019) 直接从3D 坐标和可选的隐编码来回归有符号距离函数，它使用 8 层 MPL与第 4 层的跳跃连接。

PIFu (Saito et al., 2019)表明，可以通过将 3D 点重新投影到像素对齐的特征表示中来学习隐式模型。这个想法稍后将在 PixelNeRF 中重新出现。

2.2 创建隐函数

Structured Implicit Functions (Genova et al., 2019) 证明可以将这些隐式表示结合在一起，例如，简单地将它们相加

CvxNet (Deng et al., 2020b) 通过采用逐点最大值（在 3D 中）来组合有符号距离函数。该论文还有其他几种技术来从深度或 RGB 图像中重建对象。

BSP‑Net (Chen et al., 2020) 在许多方面与CvxNet 相似，但在其核心使用二进制空间划分，从而输出多边形网格的方法，而不是昂贵的网格划分方法。

Deep Local Shapes (Chabra et al., 2020) 在体素网格中存储一个DeepSDF隐编码来表征更大和扩展场景。

Scene Representation Networks (Sitzmann et al., 2019) 或 SRN 在架构方面与 DeepSDF 非常相似，但添加了可微的光线行进算法来找到学习隐式曲面的最近交点，并添加MLP 来回归颜色，使其能够从多个姿势图像中学习。

可微分体积渲染（Niemeyer 等人，2019 年）表明，隐式场景表示可以与可微分渲染器相结合，使其可从图像中训练，类似于 SRN。他们使用术语体积渲染器，但真正的主要贡献是提出一个技巧，使隐式表面的深度计算可微，而不使用体上的积分。

Implicit Differentiable Renderer (Yariv et al., 2020) 提出了类似的技术，但具有更复杂的表面光场表示，并且还表明它可以在训练期间改进相机姿态。

神经关节形状近似(Deng et al., 2020c) 或NASA 组成隐式功能来表示关节物体，如人体。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016