论文解读Nerf2Mesh：基于Nerf的网格资产生成

论文标题

Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

简单翻译：通过Nerf恢复网格结构

论文下载地址，点这里

1：网格知识点介绍（可跳过）：

3D模型有三种表达方式，体素（Voxel），网格（Mesh），点云（Point Cloud）、SDF等，但在实际渲染应用中，主流的表达方式用的是网格。类似下图，任务3D模型都可以用一段段的网格来表示。

有了网格我们可以做什么？很简单，我们只需要给网格模型进行贴图（穿衣服）就可以实现其大致模型的塑造。具体如何贴图可以见我上篇文章
Blender3D建模过程

现在正式开始介绍论文工作（个人理解）

2：生成网格模型的步骤：

（1）利用Nerf进行新视图的合成，初始化几何视图

（2）在新视图基础上提取粗网络，用于几何和外观的联合优化

（3）在粗网络的基础上进行细化，将其优化为具有更精确表面和自适应面密度的细网格

（4）纹理编辑，我们将外观分解为与视图无关的漫反射和与视图相关的镜面项，因此漫反射颜色可以导出为标准的RGB图像纹理。

（4）或者表达为用几何图形共同优化外观，并将其烘焙成纹理图像进行实时渲染

3：下面将结合图片来对论文有个大概的了解：

（1）左边是生成的RGB视图；

（2）中间是通过对图中物体的学习，得到其网格结构，可以应用到硬件或者软件中；

（3）右图是该框架的应用，比如我们可以在渲染好的船身上去进行贴图，图中就是贴了一些五角星的图。

上图，表示了在第1阶段，通过对物体进行粗网格的提取，再之后通过网格精细化得到细网格（Fine Mesh）

之后对于物体的表明纹理，其通过MLP网络去学习颜色网格，输出2个值，分别代表漫反射（Diffuse）和镜面反射（Specular）两个参数，来辅助最终的模型渲染。

图3，中右两图分别展示了漫反射颜色以及镜面反射颜色的情况，
简单介绍下

漫反射是射在粗糙表面上的光向各个方向反射，亮度没有全反射那样高。但辐射的范围广

镜面反射是指若反射面比较光滑，当平行入射的光线射到这个反射面时，仍会平行地向一个方向反射出来。这种情况下投射进人眼的光线集中且多，就很亮，但是辐射域很小，只能在特点角度眼睛才可以接受到镜面反射的光。

左图到右图是一个粗网格到细网格的细化过程前后对比，可以比较好地看见细网格下的模型表达的细节信息更加丰富

实验对比

与以前的方法相比，文章的方法获得了更好的网格重建质量，特别是在具有复杂拓扑结构的薄结构上。将网格从NeuS减少到原始人脸的25%，因为它们太密集而无法可视化

渲染质量比较

纹理图像的可视化

图7展示了由于增强的表面质量，文章框架下生成的纹理更加紧凑和直观，也就是右图。

定性消融结果：

将不同设置下的网格结构和纹理图像可视化

本文因为小编水平有限，可能会有一些错误，希望读者可以对有误的地方进行提出改进。

共勉！

最后，如果我的文章对大家有帮助的话，可以关注我的公众号 《AI知识物语》，会定期更新3D视觉相关工作，论文解读等等，
B站账号 出门吃三碗饭，会更新相关讲解视频，
我的B站
以及我的Github仓库，有需要的话，会把相关代码数据集放在github仓库里面
我的Github