State of the Art on Neural Rendering

4.1.5. 基于图像的渲染
与传统渲染（将3D内容投影到2D平面）不同，基于图像的渲染技术通过变换现有的一组图像（通常通过将它们扭曲并合成在一起）来生成新颖的图像。基于图像的渲染可以处理动画，如Thies等人[TZS 18]所示，但最常见的用例是静态对象的新视图合成，其中来自捕获视图的图像内容被扭曲成基于代理几何体和估计的相机姿势的新视图[DYB98，GGSC96，HRDB16]。为了生成一个完整的新图像，必须将多个捕获的视图扭曲到目标视图中，这需要一个混合阶段。生成的图像质量取决于几何体的质量、输入视图的数量和排列以及场景的材质属性，因为有些材质会在不同的视点之间显著地改变外观。尽管混合和校正视相关效果的启发式方法[HRDB16]显示出良好的效果，但最近的研究已经用学习的组件替代了部分基于图像的绘制管道。深度神经网络已成功用于减少混合伪影[HPP 18]和源于视图依赖效应的伪影[TZT 20]（第6.2.1节）

6.2.1. 基于神经网络的图像绘制
基于神经图像的绘制（N-IBR）是一种混合了传统的基于图像的绘制和深度神经网络的方法，它用学习的组件代替手工制作的启发式算法。经典的IBR方法使用一组捕获的图像和代理几何体来创建新的图像，例如，从不同的视点。代理几何用于将捕获图像中的图像内容重新投影到新的目标图像域。在目标图像域，对源图像的投影进行融合，合成最终图像。这种简化的过程只会为具有精确几何体的漫反射对象提供准确的结果，这些漫反射对象是使用足够数量的捕获视图重建的。但是，由于视图相关效果、代理几何体不完美或源图像太少，可能会出现重影、模糊、孔或接缝等瑕疵。为了解决这些问题，N-IBR方法将经典IBR方法中常见的启发式方法替换为学习的混合函数或考虑视点相关效应的修正。DeepBlending[hpp18]提出了一种广义网络来预测投影源图像的混合权重，以便在目标图像空间进行合成。他们在室内场景中显示了令人印象深刻的结果，比经典的IBR方法具有更少的混合伪影。在图像引导的神经对象绘制[TZT 20]中，使用称为EffectsNet的网络训练场景特定的网络来预测与视图相关的效果。它用于从源图像中移除镜面反射高光以生成仅漫反射图像，该图像可以投影到目标视图中，而无需复制源视图高光。该效应网以连体方式同时在两个不同视图上训练，强制执行多视图照片一致性损失。在目标视图中，重新应用与视图相关的新效果，并使用类似于U网的体系结构混合图像。结果表明，该方法在包含视点相关效果的物体和小场景上实现了新颖的视点合成。

6.4.3. 深反射场
深度反射场（Deep reflective Fields，MHP 19）提出了一种新的技术，通过从多个被摄体在不同表情和视角下的4D反射场数据的数据库中学习面部反射模型来重新照亮人脸图像。利用一个学习的模型，在任意光照环境下，只需在球面颜色梯度光照下记录两幅原始图像，就可以对一个人脸进行重建[FWD09]。高质量的结果表明，彩色梯度图像包含了估计全4D反射场所需的信息，包括镜面反射和高频细节。虽然在球形颜色梯度照明下捕获图像仍然需要特殊的照明设置，但与以前需要数百张图像的方法相比，将捕获要求降低到仅两种照明条件[DHT 00]，允许将该技术应用于动态面部性能捕获（图11）