NeRF染助力虚拟物体创造

引入

• 元宇宙：元宇宙（Metaverse）是利用科技手段进行链接与创造的，与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。
• 三维模型：三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。三维模型的渲染显示在元宇宙中可谓是视觉方面的重中之重。先有看的发展，才会逐步发展到听、嗅、味、触等感官出现在元宇宙中。
• 可微渲染：简单的说，可微渲染就是计算渲染过程的导数。其具体的应用可以包括解决inverse rendering以及实现将渲染过程放入神经网络中以解决更复杂的视觉问题（可导性是训练网络的必要条件）。可微代表着可以求梯度，于是可以端到端的反向推导出图片对应的三维模型。
• Mesh：三维模型的多边形网格表示。使用大量空间三角形或多边形来代表物体的各个面。这种三维模型的表示方法是比较节省资源的。其它常见的表示方法有：体素表示、点云表示。因为Mesh占用存储也比较少，所以在硬件还未跟上的情况下，最适合用于元宇宙中的三维表示。

Neural 3D Mesh Renderer 简介

对于二维图像背后的三维世界建模，哪一种三维表示最合适？现在常见的表示方法有点云、体素和网格，其中多边形网格具有良好的紧致性和几何性质。但是使用神经网络直接由多边形网格生成图像比较困难，因为光栅化的过程阻止了反向传播。

因此，本项目所参考的Repo的原作者提出了一个近似的梯度栅格化，使渲染集成到神经网络。使用这个渲染器，可以执行带有轮廓图像监督的单图像三维网格重建，并且该系统比现有的基于体素的方法更好。

利用此类可微分的多边形网格光栅化与渲染，才有机会在元宇宙三维世界中进行视觉上的物体生成。

参考网址

https://aistudio.csdn.net/62f9fa2cb99b4c6e4e63d7e6.html